域校正适配器用于跨域小样本分割
计算机视觉与模式识别
2024-04-17 v1
摘要
小样本语义分割在仅依靠少量标注样本的情况下,在分割新类别的对象方面取得了巨大成功。然而,现有小样本语义分割方法在存在域偏移时往往表现不佳,特别是当遇到训练期间未见的新域风格时。在小样本场景下直接适应或泛化整个模型到新域是次优的。相反,我们的关键思想是适配一个小型适配器,用于将多样的目标域风格校正到源域。因此,校正后的目标域特征可以适当地受益于在充足源域数据上精心训练的源域分割模型。训练域校正适配器需要足够多样的目标域。因此,我们提出了一种新颖的局部-全局风格扰动方法,通过分别扰动单个图像的特征通道统计量和整个源域的集体统计量,来模拟多样的潜在目标域。此外,我们提出了一种循环域对齐模块,通过反向域校正监督来促进适配器有效校正域。适配器被训练用于将来自多样合成目标域的图像特征校正到与源域对齐。在目标域测试时,我们首先校正图像特征,然后在域校正特征上执行小样本分割。大量实验证明了我们方法的有效性,在跨域小样本语义分割任务上取得了有希望的结果。我们的代码可在https://github.com/Matt-Su/DR-Adapter获取。
引用
@article{arxiv.2404.10322,
title = {Domain-Rectifying Adapter for Cross-Domain Few-Shot Segmentation},
author = {Jiapeng Su and Qi Fan and Guangming Lu and Fanglin Chen and Wenjie Pei},
journal= {arXiv preprint arXiv:2404.10322},
year = {2024}
}
备注
Accepted by CVPR 2024