Advertisement

ERNIE-Pytorch：基于Pytorch的ERNIE实现

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：ZIP

简介：
ERNIE-Pytorch是一个基于PyTorch框架构建的开源项目，它实现了百度的预训练语言模型ERNIE，为自然语言处理任务提供强大的工具支持。 ERNIE是基于Bert模型构建的，在中文自然语言处理任务上表现出色。 您可以采用以下三种方式来使用这些强大的模型： 直接加载（推荐） 以ernie-1.0为例： ```python from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(nghuyong/ernie-1.0) model = AutoModel.from_pretrained(nghuyong/ernie-1.0) ``` 您可以访问Hugging Face的模型中心以查找所有支持的ERNIE版本。 以下是几个模型及其在Transformer中的标识符： | 模型 | Transformer中的标识符 | 描述 | |-----------|----------------------|----------| | ernie-1.0（中文） | nghuyong/ernie-1.0 | 中文版ERNIE，性能优越 | 下载模型的权重文件可以通过访问相应的链接来完成。

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • ERNIE-Pytorch：基于Pytorch的ERNIE实现
    优质
    ERNIE-Pytorch是一个基于PyTorch框架构建的开源项目，它实现了百度的预训练语言模型ERNIE，为自然语言处理任务提供强大的工具支持。 ERNIE是基于Bert模型构建的，在中文自然语言处理任务上表现出色。 您可以采用以下三种方式来使用这些强大的模型： 直接加载（推荐） 以ernie-1.0为例： ```python from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(nghuyong/ernie-1.0) model = AutoModel.from_pretrained(nghuyong/ernie-1.0) ``` 您可以访问Hugging Face的模型中心以查找所有支持的ERNIE版本。 以下是几个模型及其在Transformer中的标识符： | 模型 | Transformer中的标识符 | 描述 | |-----------|----------------------|----------| | ernie-1.0（中文） | nghuyong/ernie-1.0 | 中文版ERNIE，性能优越 | 下载模型的权重文件可以通过访问相应的链接来完成。
     
  • BERT与ERNIE在中文文本分类中的应用-Pytorch实现
    优质
    本文介绍了如何使用Pytorch框架实现BERT和ERNIE模型在中文文本分类任务上的应用，并分享了实验结果。 Bert-Chinese-Text-Classification-Pytorch是一个用于中文文本分类的项目，使用了BERT和ERNIE模型，并基于PyTorch框架开发，开箱即用。 该项目包括对所使用的模型介绍以及数据流动过程的描述（这部分内容尚未完成，完成后会更新至相关文档中）。由于近期工作繁忙且类似资料较多，作者暂时没有时间进行详细撰写。项目运行所需的硬件配置为一块2080Ti显卡，并在30分钟内完成了训练。 环境要求如下： - Python 3.7 - PyTorch 1.1 - Tqdm、sklearn和TensorboardX等库 预训练代码已上传至GitHub，无需使用pytorch_pretrained_bert库。中文数据集是从新闻标题中抽取了20万条记录组成，每条文本长度在20到30个字符之间，并被分为10个类别（财经、房产、股票、教育、科技、社会、时政、体育、游戏和娱乐），每个类包含2万条目。数据集是以字为单位输入模型的。 数据集划分情况如下： - 训练集：共18万样本 - 验证集：共1万样本 - 测试集：共1万样本 若需使用自己的数据进行训练，可以参考该文档并根据自身需求调整相关代码。
     
  • SiamRPN-PyTorch: 基于PyTorch的SiamRPN实现
    优质
    SiamRPN-PyTorch是一款基于PyTorch框架开发的代码库，实现了Siamese Region Proposal Network（SiamRPN）算法。该工具为视觉追踪任务提供了高效、灵活的解决方案。 SiamRPN-PyTorch 使用 PyTorch 框架为对象跟踪应用程序重新实现了 SiamRPN。开发的代码基于先前的一些实现工作，并且为了测试所开发的代码，使用了 VOT-2013 体操子数据集。要求 Python 版本 >= 3.6、PyTorch 版本 >= 1.0.1、torchvision 和 cv2 库。 训练和追踪：已实现的代码以 [x1, y1, w, h] 的形式接收地面真实值（ground truth）。数据集结构如下： ``` dataset_path/Gymnastics/img1.jpg /img2.jpg ... /imgN.jpg /groundtruth.txt ``` 运行命令： $ python3 SiamRPN_train.py
     
  • EfficientNet-PyTorch：基于PyTorch的EfficientNet实现
    优质
    EfficientNet-PyTorch是使用PyTorch框架开发的EfficientNet模型的高效实现，适用于图像分类任务。它通过自动模型缩放策略优化了网络结构和参数大小。 使用EfficientNet PyTorch可以通过pip install efficientnet_pytorch命令安装，并通过以下代码加载预训练的模型： ```python from efficientnet_pytorch import EfficientNet model = EfficientNet.from_pretrained(efficientnet-b0) ``` 更新记录如下： - 2020年8月25日：新增了一个`include_top（默认为True）`选项，同时提高了代码质量和修复了相关问题。 - 2020年5月14日：增加了全面的注释和文档支持（感谢@workingcoder贡献）。 - 2020年1月23日：基于对抗训练添加了新的预训练模型类别，名为advprop。
     
  • SMOTE-Pytorch：基于Pytorch的SMOTE实现
    优质
    SMOTE-Pytorch 是一个利用 PyTorch 框架高效实现 SMOTE (Synthetic Minority Over-sampling Technique) 算法的项目，旨在解决类别不平衡问题，适用于深度学习任务的数据预处理。 当分类标签的分布不均衡时，数据集就会出现不平衡状态，在诸如欺诈检测之类的大量现实问题中，这种不平衡往往达到100比1的程度。尽管已经采取了多种方法来解决这一难题，但这个问题仍然备受关注，并且是研究的一个活跃领域。这里展示的是SMOTE（综合少数族裔过采样技术）的Pytorch实现版本。 关于SMOTE算法的相关内容和原理可以参考其原始论文《SMOTE: Synthetic Minority Over-sampling Technique》。
     
  • Flownet2-Pytorch：基于Pytorch的FlowNet 2.0实现
    优质
    Flownet2-Pytorch是利用PyTorch框架重现的FlowNet 2.0项目。该项目提供了一个灵活且高效的平台，用于学习和研究光流估计技术。 Flownet2-pytorch是FlowNet的PyTorch实现版本。它支持多GPU训练，并提供有关干净数据集与最终数据集的训练或推理示例。相同的命令可用于其他数据集的训练或推断，详情请参考相关文档。此外，该库还支持使用fp16（半精度）进行推理。 网络架构部分提供了多种不同的Flownet神经网络结构选项：FlowNet2S、FlowNet2C、FlowNet2CS、FlowNet2CSS 和 FlowNet2SD。每个网络的BatchNorm版本也可用。需要注意的是，FlowNet2或其衍生模型（如FlowNet2C*）依赖于自定义层Resample2d和Correlation 。这些定制层与CUDA内核的PyTorch实现可供使用。 数据加载器部分提供了相关说明和支持。
     
  • SuperPoint-Pytorch：基于HTTPS的SuperPoint PyTorch实现
    优质
    SuperPoint-Pytorch 是一个基于HTTPS的项目，提供了用PyTorch框架实现的SuperPoint算法代码。此项目便于研究者和开发者在图像特征检测任务中使用与改进该模型。 超点火炬是Superpoint模型的PyTorch实现和评估文件。我们在Rémi Pautrat的TensorFlow实现中得到了很大的帮助。 在兴趣点检测方面，我们的模型似乎没有完全收敛，但与同形加法结合使用时结果看起来不错。 与其他点检测模型相比，虽然总体效果不如原始模型，但在匹配点的数量上有所差异：对于原始模型而言是这样的情况；而在我们实施的版本中则是另一番景象。尽管目前的整体表现不尽如人意，但我们希望将来能够利用不同的模块（例如数据生成、单应性调整等）进行改进。 该文件涵盖了实现的所有阶段： 1. 生成综合数据集 - 创建一个包含100,000个人造合成形状图像的数据集，并附带名称和标签的相应文件。此步骤在Tesla V-100上大约需要耗时12小时。 2. 使用合成数据集进行Magicpoint训练。
     
  • Complex-YOLOv4-PyTorch: 基于YOLOv4的PyTorch实现
    优质
    Complex-YOLOv4-PyTorch 是一个基于 YOLOv4 的目标检测模型，采用 PyTorch 框架开发，提供了高性能和高效率的目标检测能力。该实现优化了原始 YOLOv4 架构，并增加了复杂度以适应更多场景需求。 本段落介绍了一种基于YOLOv4的PyTorch实现：支持实时3D对象检测，并使用张量板镶嵌/切口增强训练方法进行优化，损失函数则采用旋转框的形式计算。 更新至2020.08.26版本后，该模型在训练和推理速度上均有显著提升。此外，它采用了无锚的方法并省去了非最大抑制的步骤，在GTX 1080Ti显卡上的性能表现尤为出色。 ### 2. 入门 #### 2.1 要求 安装所需库及依赖项，请运行以下命令： ``` pip install -U -r requirements.txt ``` 请参考各库官方网站获取详细的安装说明信息。 #### 2.2 数据准备 从3D KITTI检测数据集中下载相关文件，包括： - Velodyne点云（约29GB）：用于输入至Complex-YOLO模型的对象数据集。 - 训练标签（5MB）：作为Complex-YOLO模型的输入标签。 - 摄像机校准矩阵（16MB）：用于可视化预测的数据。 - 左侧彩色图像（约12GB）：同样为可视化预测所用。 请确保以上数据文件按照正确的格式和路径进行准备。
     
  • 基于PyTorch的TransformerEncoder的BERT实现：pytorch-bert
    优质
    pytorch-bert是一款基于PyTorch框架开发的库，实现了Transformer Encoder架构下的BERT模型。它为自然语言处理任务提供了强大的预训练模型支持。 皮托伯特 使用 PyTorch 的 TransformerEncoder 和预训练模型 BERT 实现。安装方法为 `pip install pytorch-bert`。 用法示例： ```python config = BertConfig.from_json(path-to-pretrained-weights/bert_config.json) model = Bert(config) load_tf_weight_to_pytorch_bert(model, config, path-to-pretrained-weights/bert_model.ckpt) ``` 将模型文件下载到存储库中。
     
  • KGCN-pytorch：基于PyTorch的KGCN模型实现
    优质
    KGCN-pytorch是基于流行的深度学习框架PyTorch实现的知识图谱卷积网络(Knowledge Graph Convolutional Network, KGCN)模型。该库提供了灵活且高效的工具，用于处理和分析复杂的知识图谱数据，适用于推荐系统、问答系统等应用场景。 KGCN-火炬是推荐系统的知识图卷积网络的Pytorch实现：王宏伟、赵M、谢星、李文杰、郭敏仪在2019年网络会议论文集（WWW 2019）中的工作。 电影数据集的原始评级文件太大，无法包含在此仓库中。首先对评级数据进行分类： ``` wget http://files.grouplens.org/datasets/movielens/ml-20m.zip unzip ml-20m.zip mv ml-20m/ratings.csv data/movie/ ``` 音乐没事做其他数据集如果要使用自己的数据集，则需要准备两个文件。评分数据每行应包含（用户-ID、物品-ID和评级）。在此仓库中，它是pandas数据框结构。 知识图由每个三元组（头-关系尾）组成，在此仓库中，它们是字典类型。