极限学习机及偏最小二乘法

简介：
本文探讨了极限学习机和偏最小二乘法两种算法的应用与结合，旨在分析它们在数据处理中的优势及其互补性。 由于神经网络具备拟合非线性关系的能力，因此可以利用它来处理内部模型的非线性特性。这使得采用神经网络的非线性PLS方法在实践中得到了广泛应用。 然而，传统的前馈神经网络使用梯度学习算法进行训练，在这一过程中需要不断迭代更新参数，导致了较长的学习时间，并且容易陷入局部极小值和过度拟合等问题。此外，多隐层结构还使得样本训练速度慢、误差大。另外，Bartlett提出对于已经实现最小训练误差的前馈神经网络来说，较小的权值可以带来更好的泛化性能；然而传统的梯度学习算法仅关注于减少训练误差，并未考虑到权重大小对模型的影响。 这些问题都将影响到模型的实际应用效果和泛化能力。