
Pointer-Generator-Networks-in-Chinese-Summarization:基于Trans...
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
本文介绍了一种在中文文本摘要中应用的Pointer-Generator-Network模型,并结合Transformer架构优化了生成式摘要的效果。通过实验验证,该方法显著提升了摘要的质量与连贯性。
在中文数据集下使用指针生成网络(Pointer Generator Network, PG-N)来生成摘要的工作中,我将原论文中的特征抽取方法从单层双向LSTM改为采用BERT的embedding结构。模型的整体框架没有改变,但工程上的处理细节进行了调整。(注意,并未直接使用完整的BERT模型)。中文数据集包含250万篇新闻文章(原始数据大小为9GB,压缩后3.6GB;时间跨度为2014年至2016年)。
对于分词工作,我提供了相应的代码:new-point-generate-zh。在运行tokenizer时,请使用如下命令:
```
python main.py --original_data_dir E:\0000_python\point-genge\point-generate\zh\data --tokenized_dir ./tokenized_single
```
全部评论 (0)
还没有任何评论哟~


