WaveFormer：基于波动方程的频率-时间解耦视觉建模
计算机视觉与模式识别
2026-01-14 v1 人工智能
摘要
视觉建模随着 Transformer 取得了快速进展，其注意力机制捕捉了视觉依赖关系，但缺乏对语义信息如何在空间上传播的原理性解释。我们从基于波的视角重新审视这一问题：将特征图视为空间信号，其在内部传播时间（与网络深度对齐）内的演化由欠阻尼波动方程支配。在此公式化中，空间频率——从低频全局布局到高频边缘与纹理——被显式建模，其与传播时间的交互受到控制而非隐式固定。我们导出了闭式的频率-时间解耦解，并将其实现为 Wave Propagation Operator (WPO)，这是一个在 时间内对全局交互进行建模的轻量级模块，远低于注意力机制。基于 WPO，我们提出了一系列 WaveFormer 模型，作为标准 ViT 和 CNN 的直接替代品，在图像分类、目标检测和语义分割任务中取得了具竞争力的准确率，同时与基于注意力的替代方案相比，吞吐量提高了 1.6 倍，FLOPs 减少了 30%。此外，我们的结果表明，波动传播引入了与基于热的方法互补的建模偏置，有效捕捉了对丰富视觉语义至关重要的全局连贯性与高频细节。代码可在以下地址获取：https://github.com/ZishanShu/WaveFormer。
关键词
引用
@article{arxiv.2601.08602,
title = {WaveFormer: Frequency-Time Decoupled Vision Modeling with Wave Equation},
author = {Zishan Shu and Juntong Wu and Wei Yan and Xudong Liu and Hongyu Zhang and Chang Liu and Youdong Mao and Jie Chen},
journal= {arXiv preprint arXiv:2601.08602},
year = {2026}
}