ChatGPT的原理简述

简介：
ChatGPT的核心是基于RNN、LSTM、Attention、Transformer模型的演进和发展而形成的。采用自监督学习(SSL, Self Supervised Learning)进行预训练，结合监督学习中的优调(Fine Tuning)，并运用强化学习的技术路线，实现了对非监督学习训练的支持，并在自然语言处理领域构建了一个大型语言模型(LLM, Large Language Model)。RNN（Recurrent Neural Network）和LSTM(Long Short Term)都属于早期的循环神经网络模型，在机器学习领域具有重要地位。在机器翻译、问答等序列到序列场景中，Attention被用作对输入与输出Tokens进行对齐的技术。Transformer模型建立在Self-Attention机制之上，并通过将输入Tokens的语境关联纳入考虑，实现了序列到序列任务中的有效处理。 自监督学习是通过从部分数据中自动生成标签，并用于训练模型以提取另一部分数据的特征。该方法特别适用于机器视觉和自然语言处理领域的模型预训练任务中。得益于多模态技术的进步，ChatGPT进一步演变为一个能够多模态大语言模型（MLLM），这一模型具备