LoopDA：构建自循环以适应夜间语义分割
计算机视觉与模式识别
2022-11-23 v1
摘要
由于训练标签的匮乏与标注的困难，应对诸如夜间等恶劣驾驶条件对自动驾驶车辆的感知系统构成了巨大挑战。因此，将知识从有标注的白天域迁移至无标注的夜间域已被广泛研究。除有标注的白天数据集外，现有夜间数据集通常提供于邻近位置采集的、带相应白天参考图像的夜间图像以供参照。关键挑战在于最小化两域间的性能差距。本文中，我们提出 LoopDA 用于域自适应的夜间语义分割。其由自循环构成，通过将被预测语义图渲染回编码特征，从而利用预测语义图重建输入数据。在预热训练阶段，自循环包含一个内循环与一个外循环，分别负责域内精炼与域间对齐。为减轻昼夜位姿偏移的影响，在后续的自训练阶段，我们提出一种协同教学流程，涉及离线伪监督信号与在线参考引导信号 “DNA”（Day-Night Agreement，昼夜一致性），为提升夜间分割带来显著收益。我们的模型在 Dark Zurich 与 Nighttime Driving 语义分割数据集上优于先前方法。代码与预训练模型见 https://github.com/fy-vision/LoopDA。
引用
@article{arxiv.2211.11870,
title = {LoopDA: Constructing Self-loops to Adapt Nighttime Semantic Segmentation},
author = {Fengyi Shen and Zador Pataki and Akhil Gurram and Ziyuan Liu and He Wang and Alois Knoll},
journal= {arXiv preprint arXiv:2211.11870},
year = {2022}
}
备注
Accepted to WACV2023