BertSum: 该代码对BERT模型进行微调，以提取摘要。

5星

浏览量: 0

大小:None

文件类型：None

简介：
BertSum 代码旨在对纸质文档进行Fine-tune，以实现Extractive Summarization 的目标！值得注意的是，您可以参考我们提供的预训练模型，这些模型包含了CNN/Dailymail数据集的成果，日期为2019年3月25日。具体指标包括：楷模的 ROUGE-1 得分40.9，ROUGE-2 得分18.02，以及ROUGE-L 得分37.17。此外，与基于Transformer的基线模型相比，BERTSUM +分类器取得了43.23 的 ROUGE-1 分数、20.22 的 ROUGE-2 分数和39.60 的 ROUGE-L 分数。同样，BERTSUM 与 Transformer 结合的模型表现出43.25 的 ROUGE-1 分数、20.24 的 ROUGE-2 分数和39.63 的 ROUGE-L 分数。最后，BERTSUM 与 LSTM 模型的性能为43.22 的 ROUGE-1 分数、20.17 的 ROUGE-2 分数和39.59 的 ROUGE-L 分数。该代码支持 Python 3.6 环境，并依赖于以下软件包：pytorch、pytorch_pretrained_bert 和 tensorboardX。同时，部分代码片段借鉴自 ONMT 项目（...）。

全部评论 (0)

还没有任何评论哟~

客服

BertSum: 基于代码微调BERT以提取摘要

优质

本文介绍了BertSum模型，通过在预训练语言模型BERT上进行编码器端到端微调，应用于文本摘要生成任务，实现高效的摘要提取。 BertSum 代码是针对纸质《Fine-tune BERT for Extractive Summarization》。新：请查看我们的更新结果（25/3/2019）：楷模ROUGE-1 ROUGE-2 ROUGE-L 变压器基线40.9 18.02 37.17 BERTSUM +分类器43.23 20.22 39.60 BERTSUM +变压器43.25 20.24 39.63 BERTSUM + LSTM 43.22 20.17 39.59 Python版本：此代码在Python3.6中运行。软件包要求：pytorch, pytorch_pretrained_bert, tensorboardX, 多进程pyrouge 一些代码是从ONMT借来的。

基于Python的BERT微调以提取摘要的论文代码

优质

本项目提供了一种使用Python和预训练模型BERT进行文本自动摘取的方法，并包含相关的实验代码。通过微调技术优化模型性能，实现高效精准的摘要生成。在自然语言处理领域内，BERT（Bidirectional Encoder Representations from Transformers）模型因其卓越的性能而备受关注。本项目“Python-微调BERT用于提取摘要的论文代码”是基于Python实现的一个应用案例，利用BERT对文本进行预训练，并将其应用于自动摘要生成任务中。在这一过程中，我们将深入探讨BERT的工作原理、其微调过程以及如何将它应用于具体的应用场景。作为一款基于Transformer架构的模型，由Google于2018年提出的BERT通过自注意力机制捕捉文本中的上下文信息，实现了双向的信息流动处理方式。与传统的RNN或CNN相比，这种设计让BERT在理解语言全局语义方面表现更佳。微调BERT主要包括以下步骤： 1. 数据预处理：首先需要将原始文档转换为适合于模型输入的格式，包括分词、添加特殊标记（如[CLS]和[SEP]）以及填充序列以确保所有输入具有相同的长度。 2. 加载预训练模型：通过Hugging Face提供的Transformers库可以方便地加载已经过大规模无监督文本数据训练好的BERT模型。这些预训练的模型具备强大的语言表示能力，能够有效地捕捉到语义信息。 3. 构建任务特定层：为了适应摘要生成这一具体的应用场景，在原始BERT架构的基础上需要添加额外的功能模块。这通常涉及在编码器之上增加一个解码器部分，如Transformer Decoder或者基于LSTM的序列模型作为补充组件来完成文本生成的任务。 4. 定义损失函数与优化策略：训练过程中采用交叉熵损失函数以促进分类任务的学习过程，并通过Adam算法进行参数更新。此外还可以考虑引入学习率衰减机制帮助改善收敛性能。 5. 训练和评估阶段：在实际操作中，使用包含源文本及其对应摘要的数据集来驱动模型的迭代优化。同时利用ROUGE等评价标准对生成结果的质量与原文之间的匹配程度做出客观衡量。 6. 后处理步骤：确保最终输出符合预期要求，比如去除多余的填充标记或调整过长的内容长度限制。在名为“BertSum-master”的项目中实现了上述所有环节的具体操作方法。该项目可能包含数据预处理脚本、模型定义文件、训练和评估的代码以及示例运行指令等组成部分。通过研究这些资源内容，开发者能够更好地掌握如何将BERT应用于实际自然语言处理任务中的技巧与经验。总的来说，微调BERT用于摘要生成是一项复杂的技术挑战，需要跨学科的知识积累才能完成。然而，“BertSum-master”项目为有兴趣的实践者提供了一个实验平台，在这里他们可以亲身体验到这项技术的实际应用过程，并加深对相关理论和技术的理解。

BERT-Extractive-Summarizer：简便的BERT提取式文本摘要工具

优质

简介：BERT-Extractive-Summarizer是一款基于BERT模型的简洁高效文本摘要生成工具，采用提取式方法，保留原文关键信息，适用于多种语言和场景。伯特提取摘要器是演讲摘要存储库的通用版本。此工具使用HuggingFace Pytorch变压器库进行抽取式总结。通过首先将句子嵌入，然后运行聚类算法来找到最接近质心的句子以实现这一目标。该库还利用共指技术解析需要更多上下文的单词，这可以通过调整CoreferenceHandler类中的Neurocoref库贪婪性来进行设置。使用Neurocoref的功能需要一个spaCy模型，并且必须单独下载。默认安装的是小型英语spaCy模型（en_core_web_sm，11Mb），但也可以选择其他型号进行手动安装。示例：要安装中型英文模型，请执行以下命令： ``` pip install spacy python -m spacy download en_core_web_md ```

Bert-抽取式文本摘要

优质

Bert-抽取式文本摘要项目利用BERT模型从大量文本中高效提取关键信息，形成简洁准确的摘要，适用于新闻、论文等多种文档类型。使用BERT进行抽象文本摘要生成是自然语言处理（NLP）任务之一，采用该模型来完成这一工作需要满足以下软件环境：Python 3.6.5以上版本、Torch 0.4.1+、TensorFlow、Pandas和tqdm等。所有这些包都可以通过pip install -r requirements.txt进行安装。如果使用GPU训练模型，在DockerHub中可以找到相应的镜像，例如pytorch/pytorch:0.4.1-cuda9-cudnn7-devel（2.62GB）。在首次使用时，请按照以下步骤操作：创建一个名为“/data/checkpoint”的文件夹作为存储库，并将BERT模型、词汇表和配置文件放入其中。这些资源可以在相关网站下载。请确保数据文件已经准备好并放置到指定目录中，以便开始训练过程。

BERTSUM-Chinese: 中文BERTSUM版本；抽取式模型的Chinese BERTSUM实现；提供示例数据和全面代码注释...

优质

BERTSUM-Chinese是一款基于中文的抽取式文本摘要模型，它是原始英文BERTSUM模型的本地化版本，并提供了详尽的数据样例与代码说明。 BERTSUM中文摘要抽取代码搬砖不易，欢迎star bert-chinese-web//web小接口可以在浏览器中展示，bert-sum-dataprocess//负责数据处理，bertsum-chinese//用于模型训练。

BERTSUM: 模型再现 BertSum

优质

BERTSUM基于BERT模型，创新性地提出了适用于文本摘要任务的新方法，实现了高质量文档摘要自动生成。 BertSum模型复现。

微调版BERT模型（TinyBERT）

优质

简介：TinyBERT是基于微调技术优化的轻量化BERT模型，在保持高性能的同时大幅减少了参数量和计算成本，适用于资源受限的场景。 6层-764维的TinyBERT模型。

利用LORA对ChatGLM进行模型微调训练

优质

本研究探讨了使用LoRA技术对ChatGLM模型进行高效微调的方法，旨在减少计算资源消耗的同时保持或提升对话生成质量。使用ChatGLM进行Lora模型微调训练时，并未采用官方方案，而是采取了一种特别节省显存的替代方法。这种方法使得24GB的显存足以支持垂直领域大模型的训练，并且效果非常出色。对于那些机器资源有限但仍需开展实验研究的同学来说，这是一种理想的选择。

文本分类项目实践——利用Keras与Keras-BERT开展多标签分类，并对BERT模型进行微调

优质

本项目通过使用Keras和Keras-BERT库实现多标签文本分类任务，并针对特定数据集对预训练的BERT模型进行了微调，以优化模型性能。本项目采用Keras和Keras-bert实现文本多标签分类任务，并对BERT进行微调。数据集来源于2020年语言与智能技术竞赛的事件抽取任务，使用该比赛中的数据作为多分类标签的样例数据，借助多标签分类模型来解决相关问题。