像素级循环关联:域自适应语义分割的新视角
计算机视觉与模式识别
2020-11-03 v1
摘要
域自适应语义分割旨在仅利用域外(源域)标注,训练一个在目标域上取得满意像素级预测结果的模型。该任务的常规解决方案是最小化源域与目标域之间的差异以实现有效的知识迁移。以往的域差异最小化方法主要基于对抗训练,倾向于从全局考虑域差异,忽略了像素间关系且判别性较弱。在本文中,我们提出在源域与目标域像素对之间建立像素级循环关联,并对比式地强化其联系,以缩减域间隙并使特征更具判别性。据我们所知,这是解决这一困难任务的新视角。在两个代表性域自适应基准(即 GTAV Cityscapes 与 SYNTHIA Cityscapes)上的实验结果验证了我们所提方法的有效性,并表明我们的方法优于以往的 SOTA。我们的方法可在单阶段端到端训练,且不引入额外参数,有望作为一个通用框架并助力未来域自适应语义分割的研究。代码见 https://github.com/kgl-prml/Pixel-Level-Cycle-Association。
引用
@article{arxiv.2011.00147,
title = {Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation},
author = {Guoliang Kang and Yunchao Wei and Yi Yang and Yueting Zhuang and Alexander G. Hauptmann},
journal= {arXiv preprint arXiv:2011.00147},
year = {2020}
}
备注
Accepted by NeurIPS 2020 (oral). Code: https://github.com/kgl-prml/Pixel- Level-Cycle-Association