Instance-Warp：用于无监督域适应的显著性引导图像扭曲

Shen Zheng; Anurag Ghosh; Srinivasa G. Narasimhan

Instance-Warp：用于无监督域适应的显著性引导图像扭曲

计算机视觉与模式识别 2024-12-05 v3 机器学习

作者: Shen Zheng , Anurag Ghosh , Srinivasa G. Narasimhan

摘要

在夜间、雨天和雪天等条件下驾驶具有挑战性。缺乏良好的标注数据集阻碍了在此类条件下场景理解的进展。在此类情况下，使用大型标注的晴天数据集进行无监督域适应（UDA）是一个有前景的研究方向。然而，许多 UDA 方法在训练时使用了主导场景背景（例如道路、天空、人行道），这些背景在不同域之间差异巨大。因此，它们难以学习较小且通常稀疏的前景目标（例如行人、车辆、标志）的有效特征。在本工作中，我们通过应用原位图像扭曲以聚焦于显著目标来改进 UDA 训练。我们设计了实例级显著性引导，以自适应地过采样目标区域并欠采样背景区域，从而减少背景上下文的不利影响并增强骨干网络特征学习。我们的方法改善了跨地理、光照和天气条件的适应性，并且与任务（分割、检测）、域适应算法、显著性引导和底层模型架构无关。结果亮点包括在 BDD100K Clear $\rightarrow$ DENSE Foggy 上 mAP50 提升 +6.1，在 BDD100K Day $\rightarrow$ Night 上提升 +3.7 mAP50，在 BDD100K Clear $\rightarrow$ Rainy 上提升 +3.0 mAP50，以及在 Cityscapes $\rightarrow$ ACDC 上 mIoU 提升 +6.3。此外，我们的方法仅增加极少的训练内存且无额外推理延迟。代码可在 https://github.com/ShenZheng2000/Instance-Warp 获取

关键词

无监督域适应图像扭曲显著性引导场景理解目标检测语义分割

引用

@article{arxiv.2403.12712,
  title  = {Instance-Warp: Saliency Guided Image Warping for Unsupervised Domain Adaptation},
  author = {Shen Zheng and Anurag Ghosh and Srinivasa G. Narasimhan},
  journal= {arXiv preprint arXiv:2403.12712},
  year   = {2024}
}

备注

WACV 2025 Accepted Paper

Instance-Warp：用于无监督域适应的显著性引导图像扭曲

摘要

关键词

引用

备注

相关论文