中文聊天对话语料库 Chinese Chatbot Corpus

简介：
《中文聊天对话语料库》是一款专为语言研究者和开发者设计的数据集，收录了大量真实、自然的中文对话文本，旨在促进中文语境下的自然语言处理技术发展。 该项目是对市面上现有开源中文聊天语料进行搜集与系统化整理的工作成果。库内收录了包括chatterbot、豆瓣多轮对话、PTT八卦语料、青云语料、电视剧对白语料、贴吧论坛回帖语料、微博语料和小黄鸡语料在内的八种常用闲聊数据及短信等其他类型的聊天记录，并对其进行了统一化处理，使这些资料可以直接用于初步研究或开发工作。 使用此项目可以一次性完成所有聊天数据的下载与预处理，无需自行搜集并分别进行格式转换。环境要求为Python 3版本。 具体来说，各个来源的数据将按照原有格式提取出来，并将其繁体字转换成简体字形式后统一整理成为一轮轮对话的形式。使用方法是解压raw_chat_corpus文件夹至当前目录下（该文件夹包含语言处理管道、原始聊天语料集等），然后运行main.py脚本即可。 项目执行完毕之后，每个来源的语料将以独立*.tsv格式文件形式保存在clean_chat_corpus新生成的文件夹中。这些结果以每行一个样本的方式呈现，每条记录包括query和answer两个部分。 最后提到的是对于聊天机器人方向实践的一些参考意见，主要涵盖了人格设定、敏感词处理等实际产品化过程中可能遇到的问题及解决方案。该项目为非商业性质项目，若存在版权问题，请通过适当渠道反馈。