用于跨域小样本语义分割的轻量级频率掩码器
计算机视觉与模式识别
2024-11-25 v2 人工智能
摘要
跨域小样本分割（CD-FSS）旨在首先在大规模源域数据集上预训练模型，然后将模型迁移到数据稀缺的目标域数据集进行像素级分割。源域和目标域数据集之间显著的域差距导致现有小样本分割（FSS）方法在跨域场景中的性能急剧下降。在这项工作中，我们发现了一个有趣的现象：简单地为目标域过滤不同的频率分量可以带来显著的性能提升，有时甚至高达 14% mIoU。然后，我们深入研究了这一现象以寻求解释，并发现这种提升源于特征图中通道间相关性的降低，这有利于 CD-FSS 增强对域差距的鲁棒性，并扩大用于分割的激活区域。基于此，我们提出了一种轻量级频率掩码器，它通过振幅-相位掩码器（APM）模块和自适应通道相位注意力（ACPA）模块进一步降低了通道相关性。值得注意的是，APM 仅引入了 0.01% 的额外参数，但将平均性能提高了超过 10%，而 ACPA 仅引入了 2.5% 的参数，但进一步将性能提高了超过 1.5%，这显著超越了最先进的 CD-FSS 方法。
引用
@article{arxiv.2410.22135,
title = {Lightweight Frequency Masker for Cross-Domain Few-Shot Semantic Segmentation},
author = {Jintao Tong and Yixiong Zou and Yuhua Li and Ruixuan Li},
journal= {arXiv preprint arXiv:2410.22135},
year = {2024}
}
备注
Accepted by NeurIPS 2024