EDAPS：增强的域自适应全景分割
计算机视觉与模式识别
2023-12-25 v2
摘要
随着自主产业的兴起，由于有望节省成本，视觉感知栈的域适应成为一个重要的研究方向。许多先前工作致力于合成到真实场景下的域自适应语义分割。尽管全景分割是感知栈的关键输出，却很大程度上被域适应领域所忽视。因此，我们重新审视了其他领域中表现良好的域适应策略，将其适配到全景分割，并展示它们能有效增强全景域适应。进一步，我们研究了全景网络设计，提出了一种专为域自适应全景分割设计的新型架构（EDAPS）。它使用共享的、对域鲁棒的 transformer 编码器以促进语义与实例特征的联合适应，但采用针对域自适应语义与实例分割各自需求定制的任务特定解码器。结果，在具有挑战性的全景基准中观察到的性能差距被大幅缩小。EDAPS 在 SYNTHIA-to-Cityscapes 上以 20% 的大幅度显著提升了全景分割无监督域适应（UDA）的 SOTA 性能，在更具挑战性的 SYNTHIA-to-Mapillary Vistas 上甚至提升了 72%。实现代码见 https://github.com/susaha/edaps。
引用
@article{arxiv.2304.14291,
title = {EDAPS: Enhanced Domain-Adaptive Panoptic Segmentation},
author = {Suman Saha and Lukas Hoyer and Anton Obukhov and Dengxin Dai and Luc Van Gool},
journal= {arXiv preprint arXiv:2304.14291},
year = {2023}
}
备注
ICCV 2023