全新免费商用开源GPT模型发布，50G权重文件可供直接下载，性能媲美GPT-3

简介：
近日，一款全新的免费商用开源GPT模型震撼问世，其包含50GB的预训练参数，用户可直接下载使用。该模型在多项基准测试中表现出色，与GPT-3不相上下，为自然语言处理领域带来革新性突破。 真正的开源GPT模型终于来了。这个模型的参数量级为130亿，大小与最近Meta开放的LLaMA-13B相当。从数据集、模型权重到计算优化训练，全部都是开源的，并且可以商用。 尽管此前DeepMind和Meta等组织陆续发布了几个接近GPT-3的模型，但这些模型大多没有完全公开源代码或限制了商业用途。例如，最接近GPT-3的Meta OPT模型只开放给研究者使用并且不允许商用。这意味着即使企业能够复制其他人的工作成果，也无法直接将其用于实际应用中。 现在一家名为Cerebras的公司开源了一系列GPT模型，这为业界追赶先进水平提供了机会。Cerebras一共发布了7个不同规模的GPT模型，参数量分别为1.11亿、2.56亿、5.9亿、13亿、27亿、67亿和130亿。 根据Cerebras公司的说法，这些开源模型不仅包含数据集且可用于研究及商业用途，并开放了预训练的模型权重（从文件大小来看接近50G）。基于他们公开的预训练模型，用户仅需少量的数据对模型进行微调就能构建出性能不错的模型。此外，在这次发布的GPT模型中还特别考虑到了计算优化训练以提高效率。