Advertisement

BERT-NER-Pytorch:基于BERT的中文NER(Softmax, CRF, Span方法)

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型:None


简介:
BERT-NER-Pytorch是一款利用Pytorch框架实现的基于BERT模型的中文命名实体识别工具,采用Softmax、CRF及Span三种方法进行实体抽取。 使用BERT的中文命名实体识别(NER)模型。数据集包括cner。 可用模型列表: - BERT + Softmax - BERT + CRF 需求版本:1.1.0,PyTorch < 1.5.0, cuda = 9.0, python3.6 输入格式采用BIOS标记方案,每个字符的标签为一行。句子用空行分隔。 例如: 美 B-LOC 国 I-LOC 的 O 华 B-PER 莱 I-PER 士 I-PER 运行代码在run_ner_xxx.py或run_ner_xxx.sh中修改配置信息。 模型文件结构如下: ``` ├── prev_trained_model | └── bert_base | | ├── pytorch_model.bin | | ├── config.json | | ├── vocab.txt | | └── ... ``` CLUENER结果:BERT在dev上的整体性能: - 准确性(实体) - 召回率

全部评论 (0)

还没有任何评论哟~
客服
客服
  • BERT-NER-PytorchBERTNERSoftmax, CRF, Span
    优质
    BERT-NER-Pytorch是一款利用Pytorch框架实现的基于BERT模型的中文命名实体识别工具,采用Softmax、CRF及Span三种方法进行实体抽取。 使用BERT的中文命名实体识别(NER)模型。数据集包括cner。 可用模型列表: - BERT + Softmax - BERT + CRF 需求版本:1.1.0,PyTorch < 1.5.0, cuda = 9.0, python3.6 输入格式采用BIOS标记方案,每个字符的标签为一行。句子用空行分隔。 例如: 美 B-LOC 国 I-LOC 的 O 华 B-PER 莱 I-PER 士 I-PER 运行代码在run_ner_xxx.py或run_ner_xxx.sh中修改配置信息。 模型文件结构如下: ``` ├── prev_trained_model | └── bert_base | | ├── pytorch_model.bin | | ├── config.json | | ├── vocab.txt | | └── ... ``` CLUENER结果:BERT在dev上的整体性能: - 准确性(实体) - 召回率
  • BERT+BiLSTM+CRFNER实战详解
    优质
    本文详细解析了如何运用BERT、BiLSTM和CRF模型进行命名实体识别(NER)的技术实践,适合自然语言处理技术爱好者学习参考。 BERT+BiLSTM+CRF在命名实体识别(NER)中的简单实战演示。
  • BERT-BiLSTM-CRF-NER代码包.zip
    优质
    本代码包提供了一个基于BERT-BiLSTM-CRF架构的命名实体识别模型。包含预训练模型和源码,适用于中文NER任务。 BERT是一个预训练的语言模型,在多个任务上都取得了优异的成绩。本次实验的任务是序列标注问题,即基于BERT预训练模型在中文命名实体识别(NER)任务中进行微调。微调指的是在迁移学习过程中,利用预先训练好的特征抽取网络,并将其应用于下游任务。具体来说,固定其特征抽取层的参数,在原有的网络上增加少量神经元以完成最后的分类任务,并且只更新这些新增加的分类参数。
  • BERT命名实体识别(BERT-CH-NER
    优质
    简介:本项目采用BERT模型进行优化,专注于提升中文文本中的人名、地名和机构团体名称等实体的自动识别精度,旨在提供高效准确的中文NER服务。 基于BERT的中文数据集下的命名实体识别(NER)是通过修改tensorflow官方代码实现的,在Tensorflow 1.13 和Python 3.6环境下运行良好,但在TensorFlow2.0中会出现错误。在搜狐举办的文本比赛中,我使用了基准模型来进行实体识别,该模型采用了BERT以及结合了BERT、LSTM和CRF的方法。仅用BERT的结果如下所示(具体评估方案请参考比赛说明)。这里只进行了实体部分的测试,并将所有情感标注为POS进行嘲笑效果的验证。采用BERT + LSTM + CRF方法得到结果如下:训练、验证及测试阶段的相关环境变量设置示例如下,export BERT_BASE_DIR=/opt/hanyaopeng/souhu/data/chinese_L-
  • BERT-BiLSTM-CRFNER任务TensorFlow实现及优化
    优质
    本文介绍了在TensorFlow框架下,针对命名实体识别(NER)任务采用BERT-BiLSTM-CRF模型的实现方法及其性能优化策略。 BERT-BiLSTM-CRF-NER 使用谷歌的BERT模型在BiLSTM-CRF模型上进行微调以完成中文命名实体识别任务的Tensorflow代码。 欢迎给此仓库点个star! 训练数据来自: CoNLL-2003 数据集。 评估代码参考了相关资源。 尝试基于Google BERT实现NER工作。
  • BERTPyTorch命名实体识别(NER)源码
    优质
    这段简介可以描述为:“基于BERT的PyTorch命名实体识别(NER)源码”是一个利用预训练语言模型BERT和深度学习框架PyTorch实现的高效准确的自然语言处理工具,专用于从文本中自动抽取实体信息。 伯特·纳尔使用Google的BERT进行CoNLL-2003命名实体识别任务。通过Python训练模型,并用C++进行推理。安装所需库需执行如下命令:`pip3 install -r requirements.txt`,随后运行脚本 `python run_ner.py --data_dir=data/ --bert_model=bert-base-cased --task_name=ner --output_dir=out_base --max_seq_length=128 --do_train --num_train_epochs 5 --do_eval --warmup_proportion=0.1`。训练完成后,BERT库在验证数据上的表现如下:PER类别的精确度为0.9677,召回率为0.9745。
  • 比赛地点:NLP地址要素解析案——BERT-BiLSTM-CRF-NER
    优质
    本项目提出了一种基于BERT-BiLSTM-CRF模型的中文自然语言处理(NLP)地址要素解析方案,旨在高效准确地提取和分类中文文本中的地址信息。 比赛地址:中文NLP地址要素解析 长期赛结果: 分数:87.7271 排名:第56名(本次),总排名第6990位 方案详情: 采用BERT-BiLSTM-CRF-NER模型,使用预训练模型bert-base-chinese。 训练效果: F1值 : 0.9040681554670564 准确率 : 0.9313805261730405 精确度 : 0.901296612724897 召回率 : 0.9068567961165048 运行脚本: python run_bert_lstm_crf.py
  • CHINESE_NER_PYTORCH: PyTorchNER工具,含LSTM(随机初始化嵌入)+ CRFBERT...
    优质
    CHINESE_NER_PYTORCH是一个基于PyTorch开发的中文命名实体识别(NER)工具包,采用LSTM加CRF模型或预训练的BERT模型,实现高效的文本实体抽取。 CHINESE_NER_PYTORCH 是一个用于命名实体识别(NER)的Pytorch版本库,其中包括LSTM(随机初始化嵌入)+ CRF或BERT嵌入+ CRF两种模型结构。为了使用这个项目,请编辑您自己的数据集类(继承自`torch.utils.data.Dataset`)。关于如何操作的具体细节可以在项目的dataset.py文件中找到指导信息。 运行该项目时可以执行以下命令: ``` python run_lstmcrf.py python run_bertcrf.py ```
  • BERT命名实体识别(NER)系统
    优质
    本研究开发了一种基于BERT模型的高效中文命名实体识别(NER)系统,显著提升了对中文文本中人名、地名和组织机构等实体的准确识别能力。 伯特·中国人前言使用预训练语言模型BERT进行中文命名实体识别(NER)的尝试,并对BERT模型进行了微调。PS:请参考最新发布的代码以了解具体用法。 从下载bert源代码,存放在路径下的“bert”文件夹中;同时,请将模型放置在“checkpoint”文件夹下。使用BIO数据标注模式,并利用人民日报的经典数据进行训练: python BERT_NER.py --data_dir=data/ --bert_config_file=checkpoint/bert_config.json --init_checkpoint=checkpoint/bert_model.ckpt --vocab_file=vocab.txt --output_d
  • ALBERT-BiLSTM-CRFNER模型
    优质
    本研究提出了一种基于ALBERT-BiLSTM-CRF架构的高效中文命名实体识别(NER)模型,结合了先进的预训练语言模型与序列标注技术,显著提升了实体识别准确率。 基于ALBERT-BiLSTM-CRF的中文命名实体识别 目录结构: - data:训练数据集 - models:构造的模型文件夹 - result:存放结果文件夹 - ckpt:存放模型文件夹 - log:日志文件夹 - conlleval.py:计算模型性能脚本 - data_helper.py:数据处理脚本 - run.py:执行程序脚本 - train_val_test.py:训练、验证和测试脚本 - utils.py:包含一些功能的工具脚本