HeatNet：利用热成像弥合语义分割中昼夜域差距
计算机视觉与模式识别
2020-03-11 v1 机器学习
机器人学
摘要
大多数基于学习的语义分割方法针对白天场景和良好光照条件进行优化。然而，真实世界的驾驶场景包含诸如夜间照明或眩光等不利环境条件，这对现有方法仍是挑战。在本工作中，我们提出一种可应用于白天和夜间时的多模态语义分割模型。为此，除 RGB 图像外，我们利用热图像，使我们的网络显著更鲁棒。我们通过利用现有白天 RGB 数据集避免夜间图像的昂贵标注，并提出一种教师-学生训练方法，将该数据集的知识迁移至夜间域。我们进一步采用域适应方法以对齐跨域学习到的特征空间，并提出一种新颖的两阶段训练方案。此外，由于缺少用于自动驾驶的热数据，我们呈现一个包含超过 20,000 对时间同步且对齐的 RGB-热图像对的新数据集。在此背景下，我们还提出一种新颖的无目标标定方法，可实现自动鲁棒的热相机外参与内参标定。其中，我们使用我们的新数据集展示了夜间语义分割的 SOTA 结果。
引用
@article{arxiv.2003.04645,
title = {HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with Thermal Images},
author = {Johan Vertens and Jannik Zürn and Wolfram Burgard},
journal= {arXiv preprint arXiv:2003.04645},
year = {2020}
}