利用域适应处理语义分割中的新目标类别
计算机视觉与模式识别
2021-02-17 v2
摘要
在这项工作中，我们定义并解决语义场景分割中一个新颖的域适应（DA）问题，其中目标域不仅相对于源域表现出数据分布偏移，而且包含后者不存在的新类别。与将来自新类别的所有对象均视为“未知”的“开集”和“通用域适应”不同，我们的目标是对这些新类别进行显式的测试时预测。为达成此目标，我们提出一个框架，利用域适应与零样本学习技术来实现目标域中的“无界”适应。它依赖于一种新颖的架构以及配套的学习方案，以弥合源-目标域鸿沟，同时学习如何将新类别的标签映射到相关的视觉表征。利用目标域伪标签的自训练可进一步提升性能。为验证，我们考虑了不同的域适应设定，即合成到真实、国家到国家以及数据集到数据集。我们的框架以显著优势超越基线，并为这一新任务在所有基准上确立了具有竞争力的标准。代码与模型见 https://github.com/valeoai/buda。
引用
@article{arxiv.2004.01130,
title = {Handling new target classes in semantic segmentation with domain adaptation},
author = {Maxime Bucher and Tuan-Hung Vu and Matthieu Cord and Patrick Pérez},
journal= {arXiv preprint arXiv:2004.01130},
year = {2021}
}
备注
Under review at CVIU