FastBERT复现：基于ACL2020论文《FastBERT》的研究，论文链接：arxiv.org/pdf/2004.02178.pdf
5星
- 浏览量: 0
- 大小:None
- 文件类型：None
简介：
本项目旨在重现ACL 2020论文《FastBERT》，通过模型剪枝与参数共享技术，在保持高准确率的同时大幅提高BERT的推理速度。详情请参阅论文（arxiv.org/pdf/2004.02178.pdf）。
FastBert是ACL2020论文的复现版本。根据反馈，在分类数量较多的情况下，FastBert的加速效果不明显，请依据实际情况决定是否使用。
与众多BERT蒸馏方法相比，FastBERT在训练过程中同时进行蒸馏过程且主干网络保持不变，具有以下优点：
1. 准确率损失较小，并能实现约1~10倍的速度提升；
2. 兼容各种预训练模型，如ERNIE等；
3. 使用简单，适合文本分类任务，在需要利用BERT提高效果但受限于计算资源的场景下尤为适用。
使用方法：
- 下载预训练的BERT或ERNIE模型，并将其分别放置在指定目录中。
- 进行初始训练。
全部评论 (0)
还没有任何评论哟~
