基于脑部启发的分步式 patch 合并策略用于视觉转换器
计算机视觉与模式识别
2025-06-17 v2
摘要
层次化架构已成为视觉转换器 (ViT) 的主流设计范式，其中 patch 合并是将柱形架构转化为层次化架构的关键组件。我们受脑部整合全局与局部信息以实现全面视觉理解能力的启发，提出分步式 patch 合并 (SPM)，以增强后续注意力机制的‘看得更好’能力。SPM 由多尺度聚合 (MSA) 和引导局部增强 (GLE) 组成，旨在在长程依赖建模与局部特征增强之间取得恰当的平衡。在包含 ImageNet-1K、COCO 和 ADE20K 等基准数据集上的大量实验表明，SPM 在各种模型中均显著提升性能，尤其在密集预测任务如目标检测和语义分割中表现突出。同时，实验表明，将 SPM 与不同主干网络结合可进一步提升性能。代码已发布于 https://github.com/Yonghao-Yu/StepwisePatchMerging
引用
@article{arxiv.2409.06963,
title = {Brain-Inspired Stepwise Patch Merging for Vision Transformers},
author = {Yonghao Yu and Dongcheng Zhao and Guobin Shen and Yiting Dong and Yi Zeng},
journal= {arXiv preprint arXiv:2409.06963},
year = {2025}
}
备注
Accepted by IJCAI 2025