利用GPT-4进行大模型指令微调，新任务零样本性能进一步提高

简介：
本文探讨了使用GPT-4对大型语言模型进行指令微调的方法，并展示了其在新任务上实现零样本学习能力提升的效果。 大模型的指令微调水平正在不断提高，最近微软采用了GPT-4进行相关工作。 从谷歌T5模型到OpenAI GPT系列的大语言模型（LLMs），这些模型已经展示了令人印象深刻的泛化能力，包括上下文学习和思维链推理等。为了使LLMs能够遵循自然语言指令并完成实际任务，研究人员一直在探索各种微调方法。目前有两种主要的实现方式：一种是通过使用人类标注的数据在广泛的任务上进行微调；另一种则是利用手动或自动生成的指令增强公共基准数据集来进行监督学习。 其中，“Self-Instruct”是一种简单而有效的方法，它从最先进的指令微调模型生成的大规模遵循数据中学习，并使LLMs更好地与人类意图对齐。实践证明，这种方法在提升零样本和小样本泛化能力方面非常有效。 最近的成功案例如ChatGPT和GPT-4为利用指令微调改进开源大语言模型提供了巨大机会。Meta的LLaMA系列就是这样一个例子，它的性能可以媲美专有模型如GPT-3。“Self-Instruct”因其卓越的表现和低成本而迅速被采用来训练LLaMA遵循各种指令。