自然语言处理后门技术的研究与实现——附带毕业设计源码及项目介绍

简介：
本项目聚焦于探索和实施自然语言处理领域的隐蔽通道攻击技术，包含详尽的设计文档、实验分析以及配套代码资源。旨在为研究人员提供一个全面的学习平台，深入理解并研究NLP安全挑战。 本毕业设计实现了一种针对预训练自然语言处理模型的后门攻击方案，使得从该预训练模型迁移的所有下游模型都继承了这一后门，并因此对这些下游模型造成了广泛的影响。为了进行实验验证，在该项目中选择了BERT模型作为研究对象，而所选的下游任务包括文本分类（GLUE Benchmark）、命名实体识别（CoNLL-2003）和问答系统（SQuAD V2.0）。通过实验证明了针对预训练模型的后门攻击方案能够对各种类型的下游任务造成广泛的威胁。 在实验中，我们采用MLM（Mask Language Modeling, 掩码语言建模）任务来为干净的BERT模型嵌入后门。为了实施这一过程，使用WikiText-103作为数据集，并按照一定比例向其中添加恶意样本以使模型学习到后门信息。关于触发器模式的设计和样本投毒的具体流程可以在backdoor-bert目录中找到。 在评估攻击效果时，我们对一个干净的BERT模型与一个嵌入了后门的BERT模型，在相同的下游任务上进行微调（所有超参数设置相同，包括随机数种子）。之后分别在这两个版本的验证集上测试它们的表现。值得注意的是，不同的任务有着各自的评估指标。