谱自适应调制网络用于视觉感知
计算机视觉与模式识别
2026-05-13 v2
摘要
最近的研究表明，2D 卷积和自注意力在谱特征上存在差异，优化其谱特性可提升视觉模型性能。然而，理论分析仍有限，无法解释为何 2D 卷积在高通滤波方面优于自注意力，以及为何更大的卷积核更倾向于学习形状偏置（类似自注意力）。本文采用图谱分析理论模拟和比较 2D 卷积与自注意力的频率响应，在统一框架下进行比较。我们的结果证实了之前的实证发现，揭示节点连通性受窗口大小调制是塑造谱函数的关键因素。基于这一洞察，我们提出一种谱自适应调制（SPAM）混合器，使用多尺度卷积核和谱重缩放机制以谱自适应方式处理视觉特征。基于 SPAM，我们开发了 SPANetV2 作为一种新型视觉主干网络。广泛实验表明，SPANetV2 在多个视觉任务上（包括 ImageNet-1K 分类、COCO 目标检测和 ADE20K 语义分割）均优于最先进的模型。
引用
@article{arxiv.2503.23947,
title = {Spectral-Adaptive Modulation Networks for Visual Perception},
author = {Guhnoo Yun and Juhan Yoo and Kijung Kim and Jeongho Lee and Paul Hongsuck Seo and Dong Hwan Kim},
journal= {arXiv preprint arXiv:2503.23947},
year = {2026}
}
备注
Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)