C# 盘古分词技术。

简介：
1、对字典格式进行调整，从而显著提升字典的加载速度。 2、扩展对英文专业术语的支持，例如C++和C#等，只要将其添加到字典中，即可实现准确的分词。 3、引入词频判断机制，在无法明确选择时，根据词频进行优先级排序以确定分词策略。具体而言，需要启用“FreqFirst”选项。 4、提供优先词频选项，通过该选项动态调整分词粒度，从而更精细地控制分词过程。请务必打开“FreqFirst”开关。 5、增加中文人名前后缀的统计功能以及基于该统计结果进行人名定位的能力。 6、实现中文人名和未登录词出现频率的统计功能，以便更好地理解其使用情况。 7、实施自动更新字典的功能，当出现超过预设阈值的命名实体或未登录词时，自动将其添加到字典中。建议启用“AutoInsertUnknownWords”开关并设置“UnknownWordsThreshold”，但请注意手动插入未登录词通常更为推荐。 8、构建定期保存字典和统计结果的功能，通过设置“AutoSaveInterval”来控制保存频率。 9、引入KTDictSeg.xml配置文件，用于灵活配置分词参数，满足不同应用场景的需求。 10、增强对Lucene.net的支持，提供KTDictSegAnalyzer分析器供Lucene.net使用，从而简化集成过程。 11、建立完善的字典管理功能，允许用户添加、删除和修改字典内容。 12、在字典管理界面提供批量从未登录词列表中插入字典的功能，这有助于用户手动选择合适的未登录词进行添加（强烈推荐）。 13、提供一个新闻搜索的简单演示示例——Demo.KTDictSegAnalyzer项目，它采用Lucene.net+KTDictSegAnalyzer+KTDictSeg技术构建而成。 14、将所有ArrayList对象替换为List<>类型以提高代码的可读性和可维护性；同时，“src_V1.3.01”源码包（包含所有可执行文件和配置文件）位于rel_V1.3.01目录下；Data目录存放了词库、停用表以及我目前统计的人名前后缀信息；News目录则包含Lucene.net为新闻搜索构建的索引文件。“News.zip”文件包含了来自新浪和中华网抓取的过时新闻数据（约2000万字），可供学习参考；请注意，“news.xml”文件必须与Demo.KTDictSegAnalyzer.exe位于同一目录下才能正确导入！