人工智能-项目实践-知识蒸馏-基于Pytorch的知识蒸馏（中文文本分类）.zip

简介：
AI技术在项目实践中应用了Knowledge Distillation技术。该方法基于PyTorch平台实现，并适用于中文文本分类任务。基于PyTorch的知识蒸馏（中文文本分类），采用BERT预训练好的中文分类模型并将其实现到BiLSTM结构中。所使用的BERT模型来源于hugging face平台的bert-base-chinese版本，可自行通过对应链接下载。知识蒸馏过程主要是将原模型输出的logits中的特征蒸馏到目标模型（BiLSTM）的logits表达式中，以实现信息的有效迁移和优化。在知识蒸馏过程中，作为辅助开展的实验项目包括梯度累加、混合精度训练及对抗训练等技术探索。数据目录如下：首先是在data目录下存放着基于THUCNews的数据集，该数据集共计涵盖10个不同的类别；其次位于config目录中存储的是模型超参数配置文件，该配置文件不仅支持控制训练过程的各个阶段（包括验证、测试及预测），还允许用户接入其他辅助策略。此外，在models目录下存放着bert-base-uncased和biLSTM预训练权重模型代码包。在checkpoints目录中定义了模型保存的位置路径。最后位于processor子目录内，主要负责数据处理工作：对于biLSTM模型而言，其输入采用单个中文字符作为基本单位，并基于预先整理好的5000字词汇表进行构建。在蒸馏过程中需要对数据进行格式转换以适应bert-base-uncased的要求，同时也要确保处理后的数据能够满足biLSTM模型的输入需求。