关于SpanBERT的代码使用与评估

简介：
本简介探讨了如何有效利用和评估SpanBERT模型。通过详细解释其代码框架及应用案例，为研究者提供深入理解该模型及其实际效果的方法。 斯潘伯特存储库包含该论文的代码和模型：我们发布了两个基础版本（SpanBERT base）和大型版本（SpanBERT large）套管模型。这两个模型具有相同的架构配置，但在掩蔽方案和训练目标上有所不同。 - 基础版：12层、隐藏头、参数量为1.1亿 - 大型版：24层、隐藏层数为1024个单位，采用多头机制（head）的数量是16，总参数数量约为3.4亿 这些模型与现有的BERT模型具有相同的格式结构，因此您可以轻松地用我们的SpanBET版本替换它们。如果您想使用我们提供的预训练模型，则在代码中已经对模型路径进行了硬编码。 以下是SQuAD 1.1和2.0上的一些评估指标： - BERT基础版：88.5（F1）/76.5（精确度） - SpanBERT基础版：92.4（F1）/83.6（精确度） - BERT大型版本：91.3（准确率），83.3 （核心Tyk F1） 平均： - 73.1 - 77.4 (SpanBERT 基础) - 77.1 (BERT 大型) 在F1分数方面，SQuAD2.0上分别为67.7（基础版 BERT）、68.2（基础版 SpanBERT）和83.3 （大型版 BERT）。