中文

OurDB:面向多目标域自适应语义分割的衔尾蛇式域桥接框架

计算机视觉与模式识别 2024-03-19 v1

摘要

面向语义分割的多目标域自适应(MTDA)提出了一个重大挑战,因为它涉及多个分布各异的目标域。MTDA 的目标是最大限度地减少单个源域与多个目标域之间的域差异,旨在训练一个在所有目标域上均表现优异的单一模型。以往的 MTDA 方法通常采用多教师架构,其中每位教师专门负责一个目标域以简化任务。然而,这些架构阻碍了学生模型从所有特定目标域的教师中充分吸收全面的知识,并且随着目标域数量的增加,训练成本也随之攀升。在本文中,我们提出了一个衔尾蛇式域桥接(OurDB)框架,利用单教师架构为 MTDA 问题提供了一种高效解决方案。该框架动态循环遍历多个目标域,逐一对齐每个域以抑制有偏对齐问题,并利用 Fisher 信息来最小化对先前目标域知识的遗忘。我们还提出了一种上下文引导的逐类混合(CGMix)方法,该方法利用针对 MTDA 中多样化目标上下文量身定制的上下文信息。在四个城市驾驶数据集(即 GTA5、Cityscapes、IDD 和 Mapillary)上进行的实验评估表明,我们的方法优于现有的最先进方法。

关键词

引用

@article{arxiv.2403.11582,
  title  = {OurDB: Ouroboric Domain Bridging for Multi-Target Domain Adaptive Semantic Segmentation},
  author = {Seungbeom Woo and Geonwoo Baek and Taehoon Kim and Jaemin Na and Joong-won Hwang and Wonjun Hwang},
  journal= {arXiv preprint arXiv:2403.11582},
  year   = {2024}
}