适配器自然充当跨域少样本语义分割的解耦器
计算机视觉与模式识别
2025-06-10 v1 人工智能
机器学习
摘要
跨域少样本分割（CD-FSS）旨在源域数据集中进行预训练，然后将模型迁移到仅少量样本可用的目标域数据集上进行高效微调。这一任务面临两个主要挑战：（1）域间差距；（2）数据稀缺的微调。为解决这些挑战，我们重新审视基于适配器的方法，并发现一个令人惊讶的洞见：适配器不仅有助于下游任务的微调，还自然充当域信息的解耦器。这一发现在以往工作中未得到探索。基于此洞见，我们深入分析并提出了域特征导航器（DFN），它是一种基于结构的解耦器，而非当前基于损失的解耦器，用于捕获域特定信息，从而引导模型关注域无关知识。此外，为防止DFN在源域训练期间过度拟合样本特定知识，我们进一步设计了SAM-SVN方法以约束DFN。目标域上，我们冻结模型并微调DFN以学习目标特定知识。广泛的实验表明，我们的方法在CD-FSS中显著优于最先进方法，以2.69%和4.68%的MIoU在1-shot和5-shot场景中取得显著提升。
引用
@article{arxiv.2506.07376,
title = {Adapter Naturally Serves as Decoupler for Cross-Domain Few-Shot Semantic Segmentation},
author = {Jintao Tong and Ran Ma and Yixiong Zou and Guangyao Chen and Yuhua Li and Ruixuan Li},
journal= {arXiv preprint arXiv:2506.07376},
year = {2025}
}
备注
ICML 2025 Spotlight