Advertisement

PyTorch-Pretrained-ViT：在PyTorch中使用预训练的视觉变压器（ViT）

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：ZIP

简介：
PyTorch-Pretrained-ViT是一款用于PyTorch框架的库，提供了一系列预训练的视觉变换器模型，适用于图像识别和分类任务。 快速开始 使用pip install pytorch_pretrained_vit安装，并通过以下代码加载预训练的ViT模型： ```python from pytorch_pretrained_vit import ViT model = ViT(B_16_imagenet1k, pretrained=True) ``` 概述 该存储库包含视觉变压器（ViT）架构的按需PyTorch重新实现，以及预训练的模型和示例。 此实现的目标是简单、高度可扩展且易于集成到您自己的项目中。 目前，您可以轻松地： - 加载预训练的ViT模型 - 评估ImageNet或您自己的数据集 - 在您的自定义数据集上微调ViT 即将推出的功能包括： - 在ImageNet（1K）上从头开始训练ViT - 导出到ONNX以进行有效推理

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • PyTorch-Pretrained-ViT：在PyTorch中使用预训练的视觉变压器（ViT）
    优质
    PyTorch-Pretrained-ViT是一款用于PyTorch框架的库，提供了一系列预训练的视觉变换器模型，适用于图像识别和分类任务。 快速开始 使用pip install pytorch_pretrained_vit安装，并通过以下代码加载预训练的ViT模型： ```python from pytorch_pretrained_vit import ViT model = ViT(B_16_imagenet1k, pretrained=True) ``` 概述 该存储库包含视觉变压器（ViT）架构的按需PyTorch重新实现，以及预训练的模型和示例。 此实现的目标是简单、高度可扩展且易于集成到您自己的项目中。 目前，您可以轻松地： - 加载预训练的ViT模型 - 评估ImageNet或您自己的数据集 - 在您的自定义数据集上微调ViT 即将推出的功能包括： - 在ImageNet（1K）上从头开始训练ViT - 导出到ONNX以进行有效推理
     
  • ViT-Pytorch: 图像的视觉变压器Pytorch版本重现（图片描述16x16字符）
    优质
    简介：本项目为ViT模型在Pytorch框架下的实现，致力于图像识别任务，通过Transformer架构革新CNN主导地位，适用于学术研究与应用开发。 视觉变压器（Vision Transformer, ViT）是基于Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、翟小华、Thomas Unterthiner、Mostafa Dehghani，Matthias Minderer，Georg Heigold，Sylvain Gelly，Jakob Uszkoreit和Neil Houlsby共同发表的论文进行PyTorch重写实现。研究结果表明，在大型数据集上直接应用Transformers到图像补丁并在其基础上预训练可以显著提升图像识别任务的效果。Vision Transformer采用标准Transformer编码器及固定大小的图像块，实现了在图像分类领域的最新技术水平。为了执行分类任务，作者采用了向序列中添加一个额外的学习型“分类令牌”的常规方法。
     
  • Pytorch ViT模型
    优质
    简介：Pytorch ViT模型是基于Transformer编码器的视觉识别框架，适用于图像分类、目标检测等任务，提供高效且灵活的深度学习解决方案。 Pytorch ViT
     
  • vit-insight: 视觉变压器的理解与解释
    优质
    Vit-Insight是一篇关于视觉Transformer模型理解与解释的研究文章，深入探讨了该类模型的工作机制及其在计算机视觉任务中的应用潜力。 该存储库实现了视觉变形金刚中的可解释性方法。其中包括： - 注意卷展栏。 - 梯度注意卷展栏，用于特定类别的解释。 这是我们在“注意”卷展上的进一步尝试，目前尚在进行中的TBD注意流程中包括一些调整和技巧以使其正常工作： 不同的注意头融合方法以及消除最低的关注。使用代码从vit_grad_rollout导入VITAttentionGradRollout，并加载模型如下： ```python model = torch.hub.load(facebookresearch/deit:main, deit_tiny_patch16_224, pretrained=True) grad_rollout = VITAttentionGradRollout(model, discard_ratio=0) ``` 这段文字已经按照要求进行了重写，去除了链接和其他联系方式。
     
  • vit-bot-pytorch: TransReID Enhanced
    优质
    Vit-Bot-Pytorch: TransReID Enhanced 是一个基于Transformer架构的人重新识别（ReID）项目。该项目采用先进的视觉变换器模型以提高跨摄像头场景中人物匹配的准确性与效率。 vit-bot-pytorch对应的论文可以在arxiv上找到。 1. 当前版本没有进行相机编码和视角编码的实现，自己还没有理解如何添加。 2. 目前仅有训练代码提供，正在进行模型训练中，具体效果尚不清楚。 3. 在loss函数中的id loss部分前面未添加bn层，因为circle loss中有归一化操作。
     
  • vit-pytorch：利用PyTorch实现视觉变换器，这是一种通过单一变换器编码器在视觉分类中达到最佳性能的简易途径。
    优质
    Vit-Pytorch是一个基于PyTorch框架的项目，实现了视觉变换器(ViT)，旨在通过单个Transformer编码器在图像分类任务上实现最优结果，为视觉识别提供了一种简便而有效的解决方案。 视觉变压器-火炬实现是使用Pytorch在单一的变压器编码器上达到视觉分类领域最先进水平的一种简单方法。视频进一步解释了这一过程。虽然实际代码不多，但也可以为所有人提供一个清晰的结构布局，以加快注意力机制的发展。 关于如何利用预训练模型进行Pytorch实施，请参考Ross Wightman的相关存储库。 安装 ``` $ pip install vit-pytorch ``` 用法： ```python import torch from vit_pytorch import ViT v = ViT( image_size=256, patch_size=32, num_classes=1000, dim=1024, depth=6, heads=16, mlp_dim=2048 ) ```
     
  • 基于Pytorch的Vision Transformer (ViT)在图像分类中的应用
    优质
    本研究探讨了利用Pytorch框架下的Vision Transformer（ViT）模型进行图像分类的应用。通过实验分析其性能优势与局限性，为视觉任务提供新的解决方案。 本段落介绍了一个使用Pytorch实现Vision Transformer（ViT）进行图像分类的项目源码。
     
  • 基于VIT（视觉变换器）的图像分类实现
    优质
    本项目采用先进的视觉变换器(VIT)模型进行图像分类任务，探索了深度学习在计算机视觉中的应用潜力，为复杂场景下的精准识别提供了有效解决方案。 VIT（视觉变换器）用于图像分类是将Transformer首次应用于计算机视觉领域的一个实例。该资源包括所有源代码、数据集以及训练好的权重，可以直接运行并获得高达99%以上的分类精度。
     
  • BERT-PyTorch: 使用AMP在分布式PyTorch中训练BERT
    优质
    简介：本文介绍了如何使用自动混合精度（AMP）技术，在分布式环境下利用PyTorch框架高效地进行大规模BERT模型的训练。 BERT对于PyTorch 该存储库提供了用于在PyTorch中对BERT进行预训练和微调的脚本。 目录概述： - 该实现基于Google的原始版本，并进行了优化。 - 存储库提供数据下载、预处理、预训练以及从Transformer模型派生出的双向编码器表示（BERT）的微调脚本。 主要区别在于： 1. 脚本集成了LAMB优化器，用于大批量培训； 2. 使用Adam优化器进行微调； 3. 采用融合CUDA内核以加速LayerNorm操作； 4. 利用NVIDIA Apex自动执行混合精度训练。 此外，此版本与NVIDIA实现之间的主要区别包括： - 脚本设计为在包含的Conda环境中运行； - 增强的数据预处理支持多线程处理，在可能的情况下； - 使用PyTorch AMP代替Apex进行混合精度培训； - 通过TensorBoard提供更好的日志记录功能，提高生活质量。