夜间看得更清：通过昼夜图像转换实现鲁棒的夜间语义分割

当前，语义分割在诸如光照条件有利的白天场景等标准场景中展现出显著的效率与可靠性。然而，面对夜间等不利条件时，语义分割的准确率大幅下降。该问题的一个主因是缺乏充足的夜间场景标注分割数据集。本文提出一种利用生成对抗网络（GANs）缓解将语义分割用于不利条件时准确率下降的框架。为桥接白天与夜间图像域，我们有关键发现：与不利条件下的数据集相比，标准条件下存在大量分割数据集，如 BDD 以及我们收集的 ZJU 数据集。我们基于 GAN 的夜间语义分割框架包含两种方法。第一种方法中，使用 GANs 将夜间图像转换为白天图像，从而可利用已在白天数据集上训练好的鲁棒模型进行语义分割。另一种方法中，我们使用 GANs 将数据中不同比例的白天图像转换为夜间图像，但保留其标签。如此，可生成合成夜间分割数据集，以得到适用于鲁棒夜间运行的模型。实验中，后一种方法显著提升了夜间性能，这由交并比（IoU）和像素准确率（Acc）的定量结果所证实。我们表明性能随数据集中合成夜间图像的比例而变化，其中最佳比例对应昼夜最鲁棒的性能。