Transformer与ViT的小组汇报PPT

简介：
本PPT聚焦于Transformer及Vision Transformer模型的研究进展，深入探讨其架构原理、应用场景及其在自然语言处理和计算机视觉领域的革新影响。 ### Transformer与ViT模型概述 #### 一、Transformer模型介绍 **Transformer**是基于自注意力机制（self-attention mechanism）的一种革命性架构，在自然语言处理领域产生了深远影响。2017年，Vaswani等人在论文《Attention Is All You Need》中首次提出该模型，并放弃了传统的循环神经网络或长短时记忆网络的顺序依赖特性，转而采用完全基于注意力机制的方式处理序列数据。 ##### Transformer结构 Transformer主要由**编码器（Encoder）**和**解码器（Decoder）**两大部分组成。其中，编码器负责输入序列的处理并生成中间表示；解码器则依据这些表示来产生最终输出序列。每一层都包括了多头注意力机制（Multi-Head Attention）以及前馈神经网络（Feed Forward Network, FFN）。 - **多头注意力机制**：通过多个独立工作的注意力头，该模型能够捕捉到不同子空间内的信息，从而提升了对上下文不同类型信息的理解能力。 - **前馈神经网络**：用于非线性变换注意力机制的结果以增强表达力。 #### 二、Transformer的输入与位置编码 - **输入**：Transformer处理的是分词后的词汇序列。这些词汇可以采用Word2Vec、GloVe或简单的One-Hot编码方式表示为向量。 - **位置编码**：由于模型本身缺乏对顺序信息的理解，因此需要添加特定的位置编码来反映每个单词在句子中的相对或绝对位置。 #### 三、Transformer的编码器与解码器 - **编码器**：由多层相同的子模块构成，包括注意力机制和前馈神经网络。其主要任务是处理输入序列以捕捉上下文词汇间的关联。 - **解码器**：同样包含多个层次，并且在原有基础上加入了额外的关注于编码器输出的自注意力机制。 #### 四、多头注意力机制详解 Transformer中的核心创新之一就是多头注意力机制，它使模型能够并行处理多个注意力头以捕捉输入序列内不同词汇的关系。具体流程如下： 1. **步骤一**：计算每个单词与其他所有单词的相关性得分。 2. **步骤二**：对这些相关性得分进行归一化处理，确保梯度稳定。 3. **步骤三**：利用softmax函数将分数转换为概率分布以突出词汇间的关联性。 4. **步骤四**：根据所得的概率分布与对应的值相乘得出最终的注意力权重。 #### 五、ViT（Vision Transformer） 2020年，Google团队提出了用于图像分类任务的Transformer模型——ViT。不同于传统的卷积神经网络（CNN），它将图片分割成固定大小的块，并视其为序列中的“单词”，从而能够利用自注意力机制处理视觉数据。 - **特点**： - **简洁性**：架构设计简单，易于实现。 - **高性能**：在多种图像分类基准上表现出色。 - **可扩展性**：随着模型规模的增长，性能也会进一步提升。 ViT的提出标志着Transformer技术在计算机视觉领域的重大突破，并为后续研究开辟了新的途径。无论是Transformer还是基于它的Vision Transformer，在各自领域内都带来了显著的技术革新并极大地推动了自然语言处理与图像识别的发展。