基于Swin-Transformer的图像和语义分割

简介：
本研究提出了一种基于Swin-Transformer模型的创新方法，专门针对图像和语义分割任务，结合了卷积神经网络与变换器架构的优势，显著提升了复杂场景下的目标识别精度。 可以使用自己的数据集进行训练。如果选择使用自定义的数据集，则需要先将标签转换为VOC格式，相关代码位于tools文件夹下的voc.py中。具体流程是通过train脚本训练网络模型，并利用prediction脚本来输出分割结果。图片应放置在data文件夹下，但请注意更换数据集时需确保图像均为灰度图。 初始任务主要针对医学图像的分割问题进行设计，但也适用于其他类型的图像处理工作。该系统包含滑窗操作功能，采用具有层级化设计特点的Swin Transformer模型。具体来说，在滑窗操作中包括不重叠的local window和带有一定重叠区域的cross-window机制。通过将注意力计算限制在一个窗口内的方式，一方面引入了CNN卷积操作中的局部性特征，另一方面也有效减少了计算资源的需求量。