CoDA：基于严重度感知视觉提示调优的指导性领域链自适应
计算机视觉与模式识别
2024-07-16 v3
摘要
无监督领域自适应（UDA）旨在将模型从有标签的源域适配到无标签的目标域。在适配恶劣场景时，现有UDA方法因缺乏指导而表现不佳，导致模型忽略所有恶劣场景内部的差异。为解决此问题，我们提出CoDA，它在场景级和图像级指导模型区分、关注并学习这些差异。具体而言，CoDA包含领域链（CoD）策略和严重度感知视觉提示调优（SAVPT）机制。CoD聚焦于场景级指导，将所有恶劣场景划分为简单场景和困难场景，引导模型先从源域适配到使用简单场景图像的简单域，再适配到使用困难场景图像的困难域，从而为整体适配奠定坚实基础。在此基础上，我们采用SAVPT深入更细粒度的图像级指导以提升性能。SAVPT引入一种新颖的严重度度量，将所有恶劣场景图像分为低严重度和高严重度图像。然后，严重度指导视觉提示和适配器，在不增加模型架构复杂度的前提下，引导模型专注于统一的严重度特征而非场景特定特征。CoDA在所有恶劣场景下的广泛使用的基准测试上均取得了SOTA性能。值得注意的是，CoDA在Foggy Driving和Foggy Zurich基准上分别以4.6%和10.3%的mIoU超越现有方法。我们的代码可在https://github.com/Cuzyoung/CoDA获取。
关键词
引用
@article{arxiv.2403.17369,
title = {CoDA: Instructive Chain-of-Domain Adaptation with Severity-Aware Visual Prompt Tuning},
author = {Ziyang Gong and Fuhao Li and Yupeng Deng and Deblina Bhattacharjee and Xianzheng Ma and Xiangwei Zhu and Zhenming Ji},
journal= {arXiv preprint arXiv:2403.17369},
year = {2024}
}