BERT: TensorFlow代码及预训练模型提供了基于Transformer架构的双向编码器表示方法,用于自然语言处理任务,包括问答和情感分析等。此资源包含开源代码与预训练模型。
2020年3月11日发布的新产品是更小的BERT模型(仅限英语版本且无大小写区分)。此版本包含了24个较小的BERT模型,并使用WordPiece掩码进行了训练。我们已经证明,除了标准的BERT-Base和BERT-Large之外,其他多种尺寸的模型在采用相同的模型架构及训练目标时也是有效的。这些更小的模型特别适用于计算资源有限的情况,在这种情况下可以按照与原始BERT模型相同的方式进行微调。然而,它们最有效地应用于知识提炼场景中,即通过更大的、更为准确的老师来进行微调标签制作。
发布这一版本的目标是为那些拥有较少计算资源的研究机构提供支持,并鼓励社区探索增加模型容量的新方法。这些较小的BERT模型可以从表格下载,该表列出了不同参数组合的情况:
- 高度(H):128, 256, 512, 768
- 层数(L):2, 4, 6, 8, 10, 12
请注意,在此版本中包含的BERT-Base模型是为了完整性考虑而重新训练的,其条件与原始模型相同。以下是测试集上的相应GLUE分数:
这些较小的BERT模型为研究和应用提供了灵活性,并且在计算资源有限的情况下仍然可以实现有效的性能提升。