探索用于域自适应密集预测的稀疏视觉提示
计算机视觉与模式识别
2024-04-16 v3
摘要
视觉提示为解决视觉跨域问题提供了高效方式。在先前工作中，视觉域提示（VDP）首次引入域提示，通过对输入施加图像级提示并为每个目标域微调提示来解决分类测试时自适应（TTA）问题。然而，由于图像级提示在提示分配区域中掩盖了连续空间细节，它将遭受上下文信息不准确和域知识提取有限的问题，尤其在处理密集预测 TTA 问题时。为克服这些挑战，我们提出了一种新颖的稀疏视觉域提示（SVDP）方法，该方法在图像级提示中仅含极少可训练参数（如 0.1%）并保留输入更多的空间信息。为更好地应用 SVDP 提取特定域知识，我们引入域提示放置（DPP）方法，在分布偏移较大的像素上自适应分配 SVDP 的可训练参数。此外，认识到每个目标域样本表现出独特的域偏移，我们设计域提示更新（DPU）策略，为每个样本差异化优化提示参数，促进对目标域的高效适应。我们在广泛使用的 TTA 和持续 TTA 基准上进行了大量实验，所提方法在语义分割和深度估计任务中均达到了最优性能。
引用
@article{arxiv.2303.09792,
title = {Exploring Sparse Visual Prompt for Domain Adaptive Dense Prediction},
author = {Senqiao Yang and Jiarui Wu and Jiaming Liu and Xiaoqi Li and Qizhe Zhang and Mingjie Pan and Yulu Gan and Zehui Chen and Shanghang Zhang},
journal= {arXiv preprint arXiv:2303.09792},
year = {2024}
}
备注
Accepted by AAAI 2024