对比模型自适应：面向语义分割的跨条件鲁棒性

标准无监督域自适应方法联合使用带标签源域数据与无标签目标域数据将模型从源域适配至目标域。而在模型自适应中，访问带标签源域数据被禁止，即仅提供源训练模型与无标签目标数据。我们研究面向语义分割的正常到恶劣条件模型自适应，其中目标域中可用图像级对应。目标集由在 GPS 匹配位置拍摄的无标签恶劣条件与正常条件街道图像对组成。我们的方法——CMA——利用此类图像对通过对比学习学习条件不变特征。特别地，CMA 鼓励嵌入空间中的特征依据其条件不变语义内容而非各输入被采集的条件进行分组。为获取准确的跨域语义对应，我们将正常图像扭曲至恶劣图像的视角，并利用扭曲置信度分数构建鲁棒聚合特征。借此方法，我们在若干正常到恶劣自适应基准（如 ACDC 与 Dark Zurich）上取得了模型自适应的当前最优语义分割性能。我们还在新采集的恶劣条件泛化基准上评估 CMA，并报告了相较标准无监督域自适应方法的有利结果，尽管因源数据不可访问 CMA 处于比较劣势。代码见 https://github.com/brdav/cma。