BiFormer: 基于双级路由注意力的视觉Transformer论文

简介：
《BiFormer》提出了一种基于双级路由注意力机制的视觉Transformer模型，旨在提升特征学习效率与精度，适用于图像分类、目标检测等任务。 研究人员提出了一种名为BiFormer的新型视觉Transformer模型，它以动态稀疏注意力机制和双层路由为核心技术。传统的注意力机制在捕捉长距离依赖性方面表现出色，但同时也带来了巨大的计算和内存开销，因为需要在整个空间位置上进行令牌之间的配对交互运算。为了解决这个问题，先前的一些方法引入了手工设计的、与内容无关的稀疏策略，例如将注意力操作限制于局部窗口内或轴向条纹中。然而，不同于这些方法的是，该研究提出了一种全新的动态稀疏注意力机制，并通过双层路由实现这一创新机制。这种方法旨在提供更灵活的计算分配并具备内容感知的能力。 具体而言，在处理一个查询时，首先在粗糙区域级别上过滤掉不相关的键值对；随后，对于剩余的候选区域（即所有已选中的区域集合），执行精细粒度级别的令牌与令牌之间的注意力运算。该研究提供了实现这一机制的一种简单而有效的方案，并通过利用稀疏性来显著降低计算和内存需求，同时仅使用GPU上的稠密矩阵乘法操作即可完成。 基于此提出的双层路由注意力机制，研究人员开发了一种新型通用视觉Transformer模型——BiFormer。由于BiFormer能够在查询自适应的方式下关注一小部分相关令牌而忽略其他无关令牌的干扰，因此在性能和计算效率方面都表现出色，特别是在密集预测任务中更为明显。