Advertisement

PyTorch LSTM-CRF: 实现命名实体识别的代码库

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：None

简介：
本项目提供了一个基于PyTorch框架实现的LSTM-CRF模型，用于执行高效的命名实体识别任务。代码简洁易懂，适合自然语言处理研究者和开发人员参考学习。 该存储库实现了用于命名实体识别的LSTM-CRF模型。此模型与另一模型相似，只是我们省略了BiLSTM之后的最后一个tanh层。我们在CoNLL-2003和OntoNotes 5.0英文数据集上均达到了最先进的性能（请通过使用Glove和ELMo来检查我们的结果，并通过对BERT进行微调以查看其他人的结果）。此外，我们实现了允许O(log N)推断和回溯的模块。 以下是模型在不同情况下的表现： - 基于BERT的情况 + CRF：在CONLL-2003数据集上的精确度为91.69%，召回率为92.05%，F1分数为91.87%；在OntoNotes 5.0数据集上，精确度为89.57%，召回率89.45% - Roberta-base + CRF：在CONLL-2003数据集上的精确度为91.88%，召回率为93.01%，F1分数为92.44%

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • PyTorch LSTM-CRF: 实现命名实体识别的代码库
    优质
    本项目提供了一个基于PyTorch框架实现的LSTM-CRF模型，用于执行高效的命名实体识别任务。代码简洁易懂，适合自然语言处理研究者和开发人员参考学习。 该存储库实现了用于命名实体识别的LSTM-CRF模型。此模型与另一模型相似，只是我们省略了BiLSTM之后的最后一个tanh层。我们在CoNLL-2003和OntoNotes 5.0英文数据集上均达到了最先进的性能（请通过使用Glove和ELMo来检查我们的结果，并通过对BERT进行微调以查看其他人的结果）。此外，我们实现了允许O(log N)推断和回溯的模块。 以下是模型在不同情况下的表现： - 基于BERT的情况 + CRF：在CONLL-2003数据集上的精确度为91.69%，召回率为92.05%，F1分数为91.87%；在OntoNotes 5.0数据集上，精确度为89.57%，召回率89.45% - Roberta-base + CRF：在CONLL-2003数据集上的精确度为91.88%，召回率为93.01%，F1分数为92.44%
     
  • LSTM+CRF、BiLSTM+CRF和LSTM CRF PyTorch命名实体识别代码
    优质
    本项目提供基于LSTM-CRF、BiLSTM-CRF模型的命名实体识别（NER）PyTorch实现，适合自然语言处理任务中的实体抽取。 需要提供可以直接运行的使用pytorch实现的LSTM+CRF、BiLSTM+CRF以及LSTM CRF进行命名实体识别的代码和数据。
     
  • 基于BERT+BiLSTM+CRF的命名实体识别Pytorch源码.zip
    优质
    本资源提供了一个使用Python和PyTorch实现的基于BERT、BiLSTM及CRF模型进行命名实体识别(NER)的完整代码库，适用于自然语言处理任务。 Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码.zip （由于文件名重复了多次，为了方便理解可以简化为：该项目提供了一个使用Pytorch框架，结合BERT、BiLSTM以及CRF模型进行命名实体识别任务的完整代码库。）
     
  • BiLSTM-CRF-NER-PyTorch: 本仓库提供针对命名实体识别任务的BiLSTM-CRF模型的PyTorch实现。
    优质
    本仓库提供了基于PyTorch框架的BiLSTM-CRF模型，专门用于执行命名实体识别任务，助力自然语言处理领域的发展。 使用BiLSTM-CRF模型的命名实体识别任务的PyTorch解决方案。此存储库包含了一个用于命名实体识别任务的BiLSTM-CRF模型的PyTorch实现。项目的代码结构如下： ``` ├── pyner| │ └── callback| │ | └── lrscheduler.py │ | └── trainingmonitor.py │ ... └── config └── basic_config.py # 用于存储模型参数的配置文件 └── dataset ```
     
  • CRF命名实体识别模型
    优质
    CRF命名实体识别模型是一种利用条件随机场算法进行自然语言处理中命名实体抽取的有效方法，广泛应用于文本挖掘与信息提取领域。 NER技术能够实现命名实体识别，可以从中找出人名、地名、年份以及组织机构名称等信息。
     
  • 基于PyTorch的BERT-BiLSTM-CRF中文命名实体识别
    优质
    本研究利用PyTorch框架开发了一种结合BERT、BiLSTM和CRF模型的系统，专门针对中文文本进行高效的命名实体识别，提升了实体边界检测与分类精度。 依赖：python==3.6（可选）、pytorch==1.6.0（可选）、pytorch-crf==0.7.2、transformers==4.5.0、numpy==1.22.4、packaging==21.3 温馨提示：新增了转换为onnx并进行推理的功能，具体内容在convert_onnx下，使用命令python convert_onnx.py执行。仅支持对单条数据的推理。在CPU环境下，原本的推理时间为0.714256477355957秒，转换后为0.4593505859375秒。需要安装onnxruntime和onnx库。 注意：原本的pytorch-crf不能转换为onnx，在这里使用了替代方案。目前只测试了bert_crf模型，其他模型可根据需求自行调整。 问题汇总： ValueError: setting an array element with a sequence. The requested array has an inhomogeneous shape after 1 dimensions. 解决方法：pip install numpy==1.22.4 packaging.ver
     
  • 基于PyTorch和BiLSTM-CRF的中文命名实体识别
    优质
    本研究利用PyTorch框架开发了一种基于BiLSTM-CRF模型的系统，专门针对中文文本进行高效的命名实体识别，提升了对复杂句子结构的理解能力。 基于PyTorch+BiLSTM_CRF的中文命名实体识别 文件结构说明： - checkpoints：模型保存的位置 - data：数据位置 - |-- cnews：数据集名称 - | |-- raw_data：原始数据存储位置 - | `-- final_data：标签、词汇表等信息存储位置 - logs：日志存储位置 - utils：辅助函数存放位置，包括解码、评价指标设置、随机种子设定和日志配置等功能 文件列表： - config.py：配置文件 - dataset.py：数据转换为PyTorch的DataSet格式 - main.py：主运行程序 - main.sh：运行命令脚本 - models.py：模型定义 - process.py：预处理，包括数据处理并转换成DataSet格式 运行命令示例： ``` python main.py --data_dir=data/cnews/final_data --log_dir=logs --output_dir=checkpoints --num_tags=33 --seed=123 --gpu_ids=0 --max_seq_len=128 ```
     
  • 基于双向LSTM和CRF的中文命名实体识别工具
    优质
    本工具运用双向长短期记忆网络结合条件随机场技术，精准实现对中文文本中人名、地名等关键信息的有效抽取与标注。 双向LSTM+CRF中文命名实体识别工具支持使用自有的语料进行训练，欢迎大家交流学习。需要注意的是，训练数据需要自行获取。
     
  • 基于双向BiLSTM-CRF的命名实体识别
    优质
    本研究提出了一种基于双向BiLSTM-CRF模型的命名实体识别方法，有效提升了对长距离依赖和语境信息的理解能力，在多项公开数据集上取得了优异性能。 命名实体识别（Named Entity Recognition，简称NER）是自然语言处理中的一个重要任务，旨在从文本中提取具有特定意义的命名实体，例如人名、地名以及组织机构名称等。 双向BiLSTM-CRF是一种常用于命名实体识别的技术架构。它主要包括以下几个部分： 1. 双向长短期记忆网络（Bidirectional LSTM）：这是一种循环神经网络结构，同时包含前向和后向两个方向的隐藏状态，通过学习上下文信息来捕捉词汇的意义特征。 2. 条件随机场模型（Conditional Random Field, CRF）：CRF是一种概率图模型，用于解决序列标注问题。在命名实体识别任务中，CRF层可以根据上下文的信息优化标签序列的整体效果，从而提高模型的准确性。 为了更准确地捕捉词汇的具体特征，通常会将字符级别的信息作为输入处理。通过学习字符级别的表示方法可以增强模型的表现力和理解能力。 具体的操作流程如下： 1. 将文本切分成词组或单词，形成一个词语序列。 2. 对每个词语进行字符层面的表达转换，可利用卷积神经网络（CNN）或者长短期记忆网络等结构实现这一过程。 3. 把生成的字符级表示与词汇级别的嵌入向量结合在一起作为输入数据，并将其送入双向LSTM中。
     
  • LSTM+CRF中文实体识别.zip
    优质
    本项目包含了一个使用LSTM与CRF技术结合的模型，专门针对中文文本进行命名实体识别的研究和实践。提供源代码及相关文档，便于研究者学习参考。 使用TensorFlow实现的中文实体识别模型结合了LSTM与CRF，并提供了一个简单的用户界面。