迭代方法在优化中的应用

简介：
本研究探讨了迭代算法在解决复杂优化问题中的应用，通过多次循环改进逼近最优解，特别关注其在机器学习和工程设计领域的有效性与效率。 这本书精选了一组用于无约束及有界约束优化问题的方法，并从理论与算法两个角度深入分析这些方法。它强调在描述和分析算法的清晰度上而非一般性上下功夫，尽管书中提供了指针以引导读者了解最广泛适用性的理论结果以及稳健软件的相关文献，作者认为让读者全面理解那些传达关键理念的特例更为重要。本书是Kelley所著《线性和非线性方程组迭代方法》（SIAM, 1995）的配套书籍，包含许多练习题和实例，可用作教材、自学教程或参考书。 《优化问题中的迭代法》不仅涵盖了传统的基于梯度的最优化技术：它是第一本以统一方式处理采样方法——包括霍克-吉维斯（Hooke–Jeeves）、隐式过滤器、MDS及尼尔德-米德（Nelder-Mead）方案等在内的书籍，也是首次将这些采样法与传统梯度方法相联系的书。因此读者可以在一种简单的方式下实验算法，并且可以将其在其他编程语言中实现。