ChatGPT 4.0 Paper (English Edition)

简介：
我们构建了一个称为GPT-4的大型多模态模型，在模拟律师考试中表现出色，得分位居前10%左右；相比之下，GPT-3.5的得分则位于后10%。经过6个月的努力，我们利用我们的对抗性测试程序和从ChatGPT中获得的经验教训对模型进行了多轮优化调整。在真实性、可操控性和不越界方面实现了迄今为止最佳的性能表现（尽管目前还不是完美）。在过去的两年里，我们对深度学习栈进行了全面的重建工作，并与Azure团队共同规划并构建了一台专为我们的工作负载量身定制的超级计算机。在去年底，我们在GPT-3.5模型上进行了首次全系统测试运行。通过分析测试数据，我们发现了若干问题并进行修复，同时对理论基础进行了优化完善。经过这些改进后，我们发现GPT-4的训练过程（就至少对我们团队而言）达到了前所未有的稳定状态，并成功实现了第一个能够提前准确预测其性能发展水平的大规模模型。在持续追求可靠扩展的目标指引下，我们的研究重点将逐步转向提升方法论的成熟度，从而进一步增强我们对未来的预见能力和预先准备能力。