BERT_Distill: 基于BERT的蒸馏实验

简介：
简介：本文介绍了BERT_Distill，一种基于BERT模型的蒸馏技术实验。通过知识蒸馏方法，优化了大规模预训练语言模型，使其在保持高准确率的同时更加轻量化和高效。 基于BERT的蒸馏实验参考论文《从BERT提取任务特定的知识到简单神经网络》，分别使用keras和pytorch实现了textcnn与bilstm（gru）模型，并在情感二分类服装的数据集上进行了实验。数据集被分割成1：8：1的比例，即有标签训练集、无标签训练集和测试集。 小模型(textcnn及bilstm)的准确率在0.80至0.81之间，而BERT模型的准确率为0.90到0.91。蒸馏后的模型则达到了约0.87至0.88之间的准确率。实验结果与论文中的某些基本一致，并符合预期。 后续计划尝试其他更有效的蒸馏方案。具体步骤为：首先使用python ptbert.py脚本对BERT进行微调，然后将知识从BERT模型中转移（即“蒸馏”）到小模型里。