Sun Off, Lights On：面向稳健语义感知的单图像Photorealistic夜间模拟
计算机视觉与模式识别
2024-07-31 v1
摘要
夜间场景对学习模型和人类标注都较难，因此，现实的合成夜间数据对于在夜间学习稳健语义感知尤为重要，这些数据提供准确且廉价的语义标注。然而，现有的基于数据驱动或手工制作的技术用于从日间图像生成夜间图像往往表现不佳。其原因是高度在空间上可变的夜间照明与场景中各异材料物体之间的复杂相互作用，这种相互作用在三维空间中发生，与日间情况截然不同，2D 方法难以捕捉。上述 3D 相互作用和照明偏移在文献中同样难以建模，与雾或雨等其他情况相比尤为如此。我们的方法名为 Sun Off, Lights On (SOLO)，是首次在 3D 中对单张图像进行照片级真实性夜间模拟。它首先显式地估计输入日间图像的 3D 几何、材料和光源位置，并通过概率方式实例化光源以其语义为依据，然后运行标准光线追踪进行再照明。不仅我们生成的夜间图像在视觉质量和照片级真实性方面优于包括扩散模型在内的竞争方法，而且前者也被证明在 day-to-night 适应中更有利于夜间语义分割。代码和数据将公开提供。
引用
@article{arxiv.2407.20336,
title = {Sun Off, Lights On: Photorealistic Monocular Nighttime Simulation for Robust Semantic Perception},
author = {Konstantinos Tzevelekakis and Shutong Zhang and Luc Van Gool and Christos Sakaridis},
journal= {arXiv preprint arXiv:2407.20336},
year = {2024}
}
备注
Submitted for review