用于语义夜间图像分割的引导式课程模型自适应与不确定性感知评估

语义分割方面的大多数进展报道于光照条件有利的白天图像。我们转而解决夜间图像的语义分割问题并改进了现有技术水平,通过将白天模型自适应到夜间且不使用夜间标注。此外,我们设计了一个新的评估框架以应对夜间图像中语义的显著不确定性。我们的核心贡献为:1) 一种课程框架,通过带标签的合成图像和无标签的真实图像,按一天中逐渐变暗的时间段逐步将语义分割模型从白天自适应到夜间,其利用真实图像的跨时段对应关系来引导其标签的推断;2) 一种新颖的面向不良条件、并将超出人类识别能力的图像区域以原则性方式纳入评估的不确定性感知标注与评估框架及指标;3) Dark Zurich 数据集,其包含 2416 张无标签夜间图像和 2920 张无标签黄昏图像,并与各自的白天对应图像相对应,外加一组按我们的协议创建的 151 张带精细像素级标注的夜间图像,其作为执行我们新评估的第一个基准。实验表明,我们的引导式课程自适应在标准指标和我们的不确定性感知指标上均显著优于真实夜间集合上的最先进方法。此外,我们的不确定性感知评估揭示,选择性地使预测失效可在具有模糊内容的数据(如我们的夜间基准)上带来更好的结果,并有益于涉及无效输入的安全导向应用。