用于语义分割的空间频率调制

包含纹理等精细细节的高空间频率信息对语义分割的准确性有重要贡献。然而，根据奈奎斯特-香农采样定理，高频分量在通过步幅卷积等下采样层传播时容易发生混叠或失真。在此，我们提出了一种新颖的空间频率调制，在下采样前将高频特征调制至较低频率，并在上采样时将其解调回原状。具体而言，我们通过自适应重采样（ARS）实现调制，并设计了一个轻量级附加模块，可对高频区域进行密集采样以放大信号，从而根据频率缩放性质降低其频率。我们还提出了多尺度自适应上采样（MSAU），通过非均匀上采样解调已调制的特征并恢复高频信息。该模块通过显式利用多尺度下密集重采样区域与稀疏重采样区域之间的信息交互，进一步提升了分割性能。这两个模块均可无缝集成到从卷积神经网络到 Transformer 的各种架构中。特征可视化与分析证实，我们的方法有效缓解了混叠，同时在解调后成功保留了细节。最后，我们通过将 SFM 扩展到图像分类、对抗鲁棒性、实例分割和全景分割任务，验证了其广泛的适用性和有效性。代码可在 https://github.com/Linwei-Chen/SFM 获取。