Levenberg-Marquardt (LM) 算法用 C++ 编写。

简介：
LM算法，全称Levenberg-Marquard算法，主要用于解决非线性最小二乘问题，并且在曲线拟合等诸多应用场景中得到了广泛应用。该算法的运用并非过于复杂，其核心在于利用模型函数 f 对待估参数向量 p 在其邻域内进行线性近似，同时忽略掉二阶及更高阶的导数项，从而将其转化为一个可行的线性最小二乘问题。这种方法具有显著的收敛速度优势。LM算法属于“信赖域法”的一种，为了更清晰地理解这一概念，我们稍作阐述：在优化算法中，通常需要寻找函数的极小值。每一步迭代都需要确保目标函数值是下降的。信赖域法则遵循“先假设可信赖的最大位移 s，然后在以当前点为中心，以 s 为半径的区域内搜索目标函数的近似函数（通常为二次函数）的最优点”的原则。通过求解最优点来获得真正的位移。获得位移后，计算目标函数值；如果该计算结果能够使目标函数值的下降满足预定的条件，则表明该位移是可靠的，并以此规则继续迭代计算；反之，则需要减小信赖域范围并重新求解。实际上，您在查阅到的所有关于LM算法的资料中，都能够找到类似“如果目标函数值增大时调整某系数并继续求解；如果目标函数值减小时调整某系数并继续求解”的迭代过程。这种迭代方式与前面所描述的信赖域法高度相似。因此可以得出结论：LM算法是一种典型的信赖域法。