暗夜视物：面向夜间场景背景建模的N2DGAN

由于光照缺失和不均匀照明的恶化条件，夜间图像比同一场景的白天图像对比度更低、噪声更高，这严重限制了常规背景建模方法的性能。针对这一夜间场景下背景建模的极具挑战性问题，本文提出了一种创新且合理的解决方案，开辟了与现有方法完全不同的新途径。为使夜间场景下的背景建模达到与白天条件同等的性能，我们提出了一种用于前景监控的基于生成的背景建模框架。以预先指定的白天参考图像作为背景帧，训练名为N2DGAN的基于GAN的生成模型，将夜间视频的每一帧转换为与参考图像场景相同（前景区域除外）的虚拟白天图像。具体而言，为在生成虚拟白天图像时平衡背景场景与前景对象的保留，我们提出了一种双通路生成模型，其中全局与局部子网络通过空间和时间一致性约束良好结合。对于生成的虚拟白天图像序列，进一步提出一种多尺度贝叶斯模型，以针对性刻画背景的时间变化。我们在带有手动标注真值的数据集上进行了评估，为相关研究领域提供了宝贵资源。主文与补充材料中展示的令人印象深刻的結果表明了我们所提方法的有效性。