Advertisement

中文版XLNet:预训练的中文XLNet模型

  • 5星
  •     浏览量: 0
  •     大小:None
  •      文件类型:None


简介:
中文版XLNet是一款经过大规模数据训练的先进语言模型,专为理解和生成高质量的中文文本而设计,适用于多种自然语言处理任务。 本项目提供了针对中文的XLNet预训练模型,并扩展了丰富的自然语言处理资源,为用户提供多种中文预训练模型选择。我们欢迎各位专家学者下载使用并共同促进和发展中文资源建设。 该项目基于CMU/谷歌官方的XLNet开发,提供了一系列相关的预训练模型和其他工具,包括MacBERT、ELECTRA和BERT-wwm等中英文版本,并且发布了知识蒸馏工具TextBrewer。所有这些模型都已支持TensorFlow 2并通过变压器库进行调用或下载。 项目重要时间线如下: - 2021年1月27日:所有模型均已更新至TensorFlow 2。 - 2020/9/15:我们的论文被录用为长文。 - 2020/8/27:哈工大讯飞联合实验室在通用自然语言理解评论GLUE中取得了第一名的成绩。 - 2020/3/11:为了更好地了解用户需求,我们邀请大家填写反馈表单以提供更好的资源和服务。 此外,在项目开发过程中还发布了一些历史新闻和模型更新信息。

全部评论 (0)

还没有任何评论哟~
客服
客服
  • XLNetXLNet
    优质
    中文版XLNet是一款经过大规模数据训练的先进语言模型,专为理解和生成高质量的中文文本而设计,适用于多种自然语言处理任务。 本项目提供了针对中文的XLNet预训练模型,并扩展了丰富的自然语言处理资源,为用户提供多种中文预训练模型选择。我们欢迎各位专家学者下载使用并共同促进和发展中文资源建设。 该项目基于CMU/谷歌官方的XLNet开发,提供了一系列相关的预训练模型和其他工具,包括MacBERT、ELECTRA和BERT-wwm等中英文版本,并且发布了知识蒸馏工具TextBrewer。所有这些模型都已支持TensorFlow 2并通过变压器库进行调用或下载。 项目重要时间线如下: - 2021年1月27日:所有模型均已更新至TensorFlow 2。 - 2020/9/15:我们的论文被录用为长文。 - 2020/8/27:哈工大讯飞联合实验室在通用自然语言理解评论GLUE中取得了第一名的成绩。 - 2020/3/11:为了更好地了解用户需求,我们邀请大家填写反馈表单以提供更好的资源和服务。 此外,在项目开发过程中还发布了一些历史新闻和模型更新信息。
  • cased_L-12_H-768_A-12XLNet.zip
    优质
    本资源提供cased_L-12_H-768_A-12版本的XLNet预训练模型下载,适用于自然语言处理任务,包含完整的参数和架构配置。 XLNet的预训练模型文件可以从GitHub上的相关项目获取。该项目位于https://github.com/zihangdai/xlnet,但出于要求,这里不提供具体链接,请自行搜索相关信息。
  • RoBERTa_roberta_zh.zip
    优质
    简介:RoBERTa_Zh是RoBERTa模型的中文版本,基于大规模语料库进行预训练,适用于各种自然语言处理任务。该模型以.zip文件形式提供下载,方便用户快速集成到项目中使用。 RoBERTa中文预训练模型(roberta_zh)是一款针对中文文本的优化版本,基于Facebook开源的RoBERTa架构进行改进与扩展,以更好地适应汉语语境下的自然语言处理任务。
  • ELECTRA:
    优质
    Electra是谷歌推出的一种创新的文本生成与识别框架,专门用于中文等语言的预训练模型,极大提升了自然语言处理任务中的效果和效率。 ELECTRA中文预训练模型 ELECTREA:基于对抗学习的中文tiny模型 使用官方代码的具体步骤如下: 1. 修改 `configure_pretraining.py` 文件中的数据路径、TPU 和 GPU 配置。 2. 定义模型大小,在 `code/util/training_utils.py` 中自行设置。 **ELECTRA Chinese tiny 模型** - **generator**: 为 discriminator 的 1/4 - **配置说明**: 同tinyBERT 数据输入格式:原始的
  • XLNet-Gen:利用XLNet进行语言生成
    优质
    简介:XLNet-Gen是基于XLNet模型的语言生成工具,能够高效地产生高质量、连贯度高的文本内容,在多种自然语言处理任务中表现出色。 更新日期:2021年1月30日 该存储库已存档。请使用支持PyTorch和TensorFlow的XLNet语言生成版本。这不是官方实施。本自述文件末尾以及samples文件夹中均包含示例。 您可以访问Colab笔记本以获取更多信息: 用法: 第一步:下载并安装需求(如果需要,可将Requirements.txt中的tensorflow更改为tensorflow-gpu) ``` git clone https://github.com/rusiaaman/XLnet-gen.git && cd XLnet-gen pip install -r requirements.txt ```
  • BERT(TF2本)
    优质
    简介:本资源提供基于TensorFlow 2的BERT中文预训练模型,适用于自然语言处理任务,如文本分类、问答系统等。 官网发布的TensorFlow 2.0版本以后可使用的BERT中文预训练模型文件适合无法使用TF1.x的伙伴进行fine tuning。
  • BERT-base
    优质
    中文BERT-base预训练模型是专为中文自然语言处理设计的基础模型,通过大规模中文语料库进行无监督学习获得。该模型在多项NLP任务中表现出色,可应用于文本分类、情感分析等领域。 来源于Hugging Face官方的中文BERT预训练模型已下载并放置在国内分享。资源包含pytorch_model.bin和tf_model.h5文件。官方地址可在Hugging Face平台上找到。
  • SpeechBrain.tar
    优质
    SpeechBrain中文预训练模型.tar包含了一个专门为处理中文语音任务而优化的SpeechBrain框架预训练模型。该资源旨在促进中文语音识别、合成和理解的研究与应用发展。 官网下载不方便,原来的渠道也不好找,你可以试试这个方法,不需要下载码。
  • Google BERT官方
    优质
    简介:Google开发的BERT模型的中文版本,专为理解自然语言文本间的复杂关系而设计,适用于各种NLP任务的微调和优化。 BERT是由Google开发的一种基于Transformer的双向编码器表示技术。该技术通过在所有层共同调整左右上下文,在无标记文本上预训练深度双向表示,并于2018年以开源许可的形式发布。根据Devlin等人(2018)的研究,BERT是第一个使用纯文本语料库预先进行训练的深度双向、无监督的语言表示模型。 由于大多数BERT参数专门用于创建高质量的情境化词嵌入,因此该框架非常适合迁移学习。通过利用语言建模等自我监督任务对BERT进行预训练,并借助WikiText和BookCorpus等大型未标记数据集(包含超过33亿个单词),可以充分利用这些资源的优势。 自然语言处理是当今许多商业人工智能研究的核心领域之一。除了搜索引擎之外,NLP还应用于数字助手、自动电话响应系统以及车辆导航等领域。BERT是一项革命性的技术,它提供了一个基于大规模数据训练的单一模型,并且已经证明在各种自然语言处理任务中取得了突破性成果。