MIC：面向上下文增强域适应的掩码图像一致性
计算机视觉与模式识别
2023-03-27 v2
摘要
在无监督域适应（UDA）中，在源数据（如合成数据）上训练的模型需在无法获取目标标注的情况下适应目标数据（如真实世界数据）。大多数先前的 UDA 方法难以处理在目标域上视觉外观相似的类别，因为缺乏真实标注来学习细微的外观差异。为解决该问题，我们提出掩码图像一致性（MIC）模块，通过学习目标域的空间上下文关系作为鲁棒视觉识别的额外线索来增强 UDA。MIC 强制约束掩码目标图像（随机遮挡若干图像块）的预测与由指数移动平均教师基于完整图像生成的伪标签之间的一致性。为最小化一致性损失，网络必须学会从上下文推断被掩码区域的预测。由于其简单且通用的概念，MIC 可集成到不同视觉识别任务（如图像分类、语义分割和物体检测）的多种 UDA 方法中。MIC 在合成到真实、白天到夜间以及清晰到恶劣天气的 UDA 的不同识别任务上显著提升了最先进（SOTA）性能。例如，MIC 在 GTA-to-Cityscapes 和 VisDA-2017 上分别取得了前所未有的 UDA 性能 75.9 mIoU 和 92.8%，相较先前最先进水平分别提升了 +2.1 和 +3.0 个百分点。代码实现见 https://github.com/lhoyer/MIC。
引用
@article{arxiv.2212.01322,
title = {MIC: Masked Image Consistency for Context-Enhanced Domain Adaptation},
author = {Lukas Hoyer and Dengxin Dai and Haoran Wang and Luc Van Gool},
journal= {arXiv preprint arXiv:2212.01322},
year = {2023}
}
备注
CVPR 2023