CMDA：面向夜间语义分割的跨模态域自适应
计算机视觉与模式识别
2023-08-01 v1
摘要
大多数夜间语义分割研究基于域自适应方法与图像输入。然而，受限于传统相机的低动态范围，图像在低光照条件下无法捕获结构细节与边界信息。事件相机作为一种新型视觉传感器，凭借其高动态范围与传统相机形成互补。为此，我们提出一种新颖的无监督跨模态域自适应（CMDA）框架，利用多模态（图像与事件）信息实现夜间语义分割，且仅需白天图像上的标签。在 CMDA 中，我们设计了图像运动提取器以从图像中提取运动信息，以及图像内容提取器以提取内容信息，从而弥合不同模态（图像到事件）与域（白天到夜晚）之间的差距。此外，我们引入了首个图像-事件夜间语义分割数据集。在公开图像数据集与所提图像-事件数据集上的大量实验证明了我们方法的有效性。我们在 https://github.com/XiaRho/CMDA 开源了代码、模型与数据集。
引用
@article{arxiv.2307.15942,
title = {CMDA: Cross-Modality Domain Adaptation for Nighttime Semantic Segmentation},
author = {Ruihao Xia and Chaoqiang Zhao and Meng Zheng and Ziyan Wu and Qiyu Sun and Yang Tang},
journal= {arXiv preprint arXiv:2307.15942},
year = {2023}
}
备注
Accepted to ICCV 2023