陆吾在华东师大的讲义笔记

简介：
这段内容是关于陆吾在其就读或任教于华东师范大学期间所编写的讲义和课堂笔记。它可能包含了深刻的学术见解、独特的教学方法和个人的研究成果，为学生提供了深入理解学科知识的重要资料。 华东师范大学陆吾生教授的讲义笔记主要围绕最优化理论及其相关算法展开，特别是梯度下降法和随机梯度下降法。 课程旨在为学生提供现代无约束与有约束最优化方法、算法及计算机软件的基础介绍。“现代”一词强调了本课程不仅涵盖传统优化理论，还包含在实际问题中广泛应用的最新技术和技巧。此外，讲义还会简要地讨论函数优化及其应用领域。 为了更好地理解这些内容，学生应具备一年基础微积分和线性代数的知识背景；虽然对变分法及偏微分方程（PDE）有所了解会有所帮助，但并非必要条件。同时熟悉MATLAB软件对于课程的理解与实践至关重要，因为它在工程和科研领域被广泛使用。 讲义的主要教材是Andreas Antoniou与Wu-Sheng Lu合著的《Practical Optimization: Algorithms and Engineering Applications》，该书由Springer出版社于2007年出版，并配有额外资源支持网站。 无约束优化部分（第1章、第2章、第4章、第5章、第7章和第9章）涵盖了最优化问题的基本形式，即寻找参数向量x来最小化目标函数f(x)。假设此目标函数为二次连续可微性质对于算法设计至关重要。 无约束优化的核心在于求解一组代数方程pi(x)=0（i=1,2,...,m），这些方程的解代表了目标函数的极小值点。为了找到这个最小值，需要构建一个数值算法，并按照以下步骤操作： - 选择初始点x0并设定收敛精度ε； - 确定搜索方向dk以从当前位置减少目标函数值； - 计算步长α，即沿dk移动的距离使f(x)减小； - 检查是否满足停止条件；如果未达到，则迭代更新计数器k，并重复上述步骤。 其中的关键在于确定正确的搜索方向和适当的步长。此外，在线搜索过程中求解一维优化问题至关重要。 在讲义中，还介绍了相关的符号与基础概念： - x：一个包含n个变量的列向量。 - f(x)：目标函数； - g(x)：梯度向量∇f(x)，表示x处的目标函数变化率方向和大小； - H(x)：Hessian矩阵（二阶导数构成），记为∇²f(x)，描述了局部曲率。 稳定点是指g(x)=0的点，最小值必须满足这一条件。此外，如果一个点是局部极小值，则其对应的Hessian矩阵须半正定。 梯度下降法作为一种迭代方法从给定点开始，在每次迭代中沿着负梯度方向移动以逼近目标函数的局部最小值；随机梯度下降法则通过估计数据子集上的梯度来优化大规模问题处理效率。 该课程为学生提供最优化理论基础及多种求解策略的学习机会，帮助解决实际工程和科研中的相关挑战。