用于语义夜间图像分割的地图引导课程域适应与不确定性感知评估
计算机视觉与模式识别
2021-01-08 v2
摘要
我们解决了语义夜间图像分割问题，并在不使用夜间标注的情况下将日间模型适配到夜间，从而改进了当前最优水平。此外，我们设计了一种新的评估框架，以应对夜间图像中语义的显著不确定性。我们的核心贡献为：1）一种课程框架，通过一天中逐渐变暗的时段，将语义分割模型从白天逐步适配到夜晚，利用参考地图的日间图像与暗光图像之间的跨时段对应关系，引导暗光域中的标签推断；2）一种新颖的不确定性感知标注与评估框架及指标，以原则性方式将超出人类识别能力的图像区域纳入评估；3）Dark Zurich数据集，包含2416张无标注夜间图像与2920张无标注暮光图像，其与日间对应图像相匹配，外加一组按我们的协议创建的201张精细像素级标注夜间图像，作为我们新评估的首个基准。实验表明，我们的地图引导课程适配在标准指标与不确定性感知指标上均显著优于夜间集合上的当前最优方法。此外，我们的不确定性感知评估揭示，选择性地使预测失效可改善含模糊内容数据（如我们的基准）上的结果，并有益于涉及无效输入的安全导向应用。
引用
@article{arxiv.2005.14553,
title = {Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation},
author = {Christos Sakaridis and Dengxin Dai and Luc Van Gool},
journal= {arXiv preprint arXiv:2005.14553},
year = {2021}
}
备注
IEEE T-PAMI 2020