基于频率动态注意力调制的稠密预测
计算机视觉与模式识别
2025-10-24 v4 人工智能
摘要
视觉变换器 (ViT) 已显著推动了计算机视觉领域的发展，在 various 任务中展现出强大的性能。然而，ViT 中的注意力机制使每一层功能类似于低通滤波器，而现有变换器的堆叠层结构则导致频率消失。这导致关键细节和纹理的丢失。我们提出一种新颖的、受电路理论启发的策略，称为频率动态注意力调制 (FDAM)，可轻松集成到 ViT 中。FDAM 直接调制 ViT 的整体频率响应，包含两种技术：注意力反相 (AttInv) 和频率动态缩放 (FreqScale)。由于电路理论将低通滤波器作为基本元件，我们引入 AttInv，通过反相低通滤波器中的注意力矩阵来生成互补的高通滤波，并动态组合两种滤波。我们进一步设计 FreqScale 对不同频率分量进行加权，以实现对目标响应函数的精细调整。通过特征相似性分析和有效秩评估，我们展示了该方法可避免表示塌陷，导致在 various 模型（包括 SegFormer、DeiT 和 MaskDINO）中实现持续的性能提升。这些提升体现在语义分割、目标检测和实例分割等任务中。此外，我们将该方法应用于遥感检测，实现了单尺度设置下的领先结果。代码已公开于 https://github.com/Linwei-Chen/FDAM。
引用
@article{arxiv.2507.12006,
title = {Frequency-Dynamic Attention Modulation for Dense Prediction},
author = {Linwei Chen and Lin Gu and Ying Fu},
journal= {arXiv preprint arXiv:2507.12006},
year = {2025}
}
备注
Accepted by ICCV 2025