M$^3$Net：用于显著目标检测的多层级、混合与多阶段注意力网络
计算机视觉与模式识别
2023-09-18 v1 人工智能
摘要
大多数现有显著目标检测方法多使用 U-Net 或特征金字塔结构，简单地聚合不同尺度的特征图，忽略了它们的独特性与相互依赖性以及各自对最终预测的贡献。为克服这些，我们提出 MNet，即用于显著目标检测（SOD）的多层级、混合与多阶段注意力网络。首先，我们提出多尺度交互模块，创新性地引入交叉注意力方法以实现多层级特征间的交互，使高层特征引导低层特征学习从而增强显著区域。其次，考虑到以往基于 Transformer 的 SOD 方法仅利用全局自注意力定位显著区域而不可避免地忽略复杂物体细节，我们提出混合注意力模块。该模块结合全局自注意力与窗口自注意力，旨在从全局与局部两个层面建模上下文以进一步提高预测图的准确性。最后，我们提出多层级监督策略以分阶段优化聚合特征。在六个具挑战性数据集上的实验表明，所提 MNet 在四项指标上超越了近期 CNN 与基于 Transformer 的 SOD 方法。代码见 https://github.com/I2-Multimedia-Lab/M3Net。
引用
@article{arxiv.2309.08365,
title = {M$^3$Net: Multilevel, Mixed and Multistage Attention Network for Salient Object Detection},
author = {Yao Yuan and Pan Gao and XiaoYang Tan},
journal= {arXiv preprint arXiv:2309.08365},
year = {2023}
}