一种有效的中文人名自动识别方法

简介：
本文提出了一种高效且准确的中文人名自动识别技术，通过分析语言特征和机器学习算法优化命名实体识别过程。 中文信息计算机自动处理的研究已经持续了几十年，但至今仍存在许多技术难题尚未解决，其中就包括中文姓名的自动识别问题。这个问题与中文文本的自动分词一样，属于基础研究领域之一，并且其研究成果直接影响到对中文信息进行更深层次分析的效果。 汉语的特点决定了在处理中文文本时通常需要先对其进行自动分词（加入显式分割符），然后再在此基础上展开词汇、语法和语义等方面的深入分析。然而，在分词阶段，诸如人名、地名以及其他专有名词等往往被切分成单字形式。如果不能很好地解决这些专有名词的识别问题，则会对后续文本处理造成重大障碍。 中文姓名自动识别技术就是在这种背景下应运而生的，并且目前研究中主要采用以下几种方法：利用姓名用字符频率信息、上下文语境特征[1,2]、大规模数据集统计分析[2]以及词汇性质等手段进行辅助。本段落提出的方法首先对中国人名构成规律及文本中的相关信息进行了全面考察，然后建立两组规则集合，并将其应用于测试样本中以获取初步识别结果；接着利用大数据量的语料库来进行概率筛选，在设定合理的阈值之后输出最终的结果。 经过在50多万字开放性语料上的实际检验，该系统成功地自动识别出了1781个中文人名。通过调整不同的筛选标准，能够达到90%以上的准确率，并且召回率达到超过91%的水平。