SONIC：面向谱的神经不变卷积
计算机视觉与模式识别
2026-01-28 v1 机器学习
摘要
卷积神经网络 依赖固定尺寸的核扫描局部图像块，这限制了它们在非极深架构下捕获全局上下文或长程依赖的能力。视觉 Transformer 则提供了全局连通性，但缺乏空间归纳偏置，依赖显式的位置编码，且始终受限于初始图像块尺寸。要弥合这些局限性，需要一种既具结构化又具全局性的表示。我们引入了 SONIC（面向谱的神经不变卷积，Spectral Oriented Neural Invariant Convolutions），这是一种连续的谱参数化方法，使用一小组共享的、方向选择性的组件对卷积算子进行建模。这些组件在整个频域上定义了平滑的响应，产生了全局感受野以及能够跨分辨率自然适应的滤波器。在合成基准、大规模图像分类和 3D 医学数据集上，SONIC 展现出对几何变换、噪声和分辨率偏移更强的鲁棒性，并且在参数量少一个数量级的情况下，匹配或超越了卷积、基于注意力的以及先前的谱架构。这些结果表明，连续的、方向感知的谱参数化为常规的空间和谱算子提供了一种有原则且可扩展的替代方案。
引用
@article{arxiv.2601.19884,
title = {SONIC: Spectral Oriented Neural Invariant Convolutions},
author = {Gijs Joppe Moens and Regina Beets-Tan and Eduardo H. P. Pooch},
journal= {arXiv preprint arXiv:2601.19884},
year = {2026}
}
备注
10 pages, 4 figures. Accepted at ICLR 2026