递推最小二乘算法是一种用于参数估计的迭代方法，在系统识别、自适应滤波等领域广泛应用。
递推最小二乘法是一种在线估计参数的方法，在处理动态系统模型的参数估计问题上非常有效。该方法基于最小化误差平方和的原则来逐步更新参数估计值。
原理：递推最小二乘法利用了卡尔曼滤波的思想，通过不断迭代的方式来逼近最优解。其核心在于每次新数据到来时，使用当前的数据点与之前计算出的模型参数之间的偏差（即残差）进行修正，从而使得误差平方和达到最小化。
过程：
1. 初始化：设定初始参数估计值及协方差矩阵。
2. 递推更新：当新的观测数据出现时，首先根据现有模型预测下一个时刻的状态；然后用实际观察到的数据与预测结果之间的差异来调整参数的估计值，并且不断修正误差项的统计特性（如均方误差）；
3. 反复执行上述步骤直至满足停止条件。
推导：
递推最小二乘法的数学基础来自于对线性模型进行参数估计时所使用的加权最小二乘准则。具体来说，给定一组观测数据\(\{y_k, u_k\}_{k=1}^n\)（其中\(y_k\)表示输出变量，而\(u_k\)是输入向量），我们希望找到一个线性关系式：
\[ y = \Phi x + w \]
这里，\(x\)代表需要估计的参数向量；矩阵\(\Phi=[\phi_1,\cdots,\phi_n]\)包含了所有已知数据点的信息；而\(w\)则表示随机误差项。
为了简化问题并便于递归求解，可以将上述方程重写为：
\[ y_k = \varphi(k)^T x + w_k \]
其中\(\varphi(k)\)是对应于时刻k的输入向量。此时目标函数变为最小化所有观测数据对应的误差平方和：
\[ J(x)=\sum_{i=1}^n e_i^2=\sum_{i=1}^{n}(y_i-\varphi(i)^T x)^2 \]
通过求导并令其等于零，可以得到参数估计值\(x\)的一个闭式解。然而，在实际应用中由于数据量庞大或模型复杂度高，直接计算这个解析表达式可能不切实际或者效率低下。因此我们转而采用迭代算法来逼近最优解。
递推最小二乘法正是这样一种迭代策略：它从一个初始猜测开始，并且每接收到一个新的观测值就更新参数估计和误差协方差矩阵，直至收敛为止。
5星
