Multilingual_NER: 使用BERT进行英语和俄语的命名实体识别

简介：
本研究提出了一种基于BERT模型的多语言命名实体识别系统——Multilingual_NER，专门针对英语与俄语文本，有效提升了跨语言文本处理中的关键信息抽取精度。 多语种_NER将应用于英语和俄语的命名实体识别（NER），旨在帮助机器翻译模型开发人员分析并解决名称翻译中的错误。更准确地说，这些NER模型将作为改进俄英句子对之间MT质量评估的一部分管道使用。在机器翻译中，命名实体是一个已知挑战，尤其是在斯拉夫语言如俄语中识别名称时具有独特性。由于拼写会根据角色的不同而变化（例如，“Smith”这样的英语名字则不会），因此这些模型无法仅仅依靠拼写来学习。此外，因为俄语中的词序有很大灵活性，并不依赖于位置提示进行命名实体的识别也是必要的。考虑到翻译通常与其他信息提取和检索技术一起使用，确保名称能够正确翻译对于提升MT模型及基于它们的产品和服务实用性至关重要。 该存储库包含原始数据和预处理过的数据，用于微调适用于英语与俄语间的BERT模型。