阴影迁移：面向城市道路场景的单图像重打光
计算机视觉与模式识别
2019-09-27 v2
摘要
图像中的光照效果，特别是投射阴影与明暗 shading，已被证明会降低深度神经网络在城市驾驶场景中对大量基于视觉的检测、识别与分割任务的性能。导致这一性能差距的一个关键因素是真实标注数据集中缺乏“一天中时段”的多样性。在图像到图像翻译领域，将此前未见过的视觉效果（特别是昼到夜的翻译）迁入数据集已取得令人印象深刻的进展。然而，在训练过程中很难约束从一数据集迁移到另一数据集的视觉效果，更不用说光照效果。为解决此问题，我们提出一种称为阴影迁移（Shadow Transfer）的深度学习框架，可通过将真实阴影、明暗及其他光照效果迁移到单幅图像上来对复杂室外场景进行重打光。所提框架的新颖之处在于其是自监督的，且设计用于利用自动驾驶车辆数据集中易获取的传感器与标注信息。我们在合成与真实数据集上展示了该方法的有效性，并提供实验证明所提方法生成的图像视觉质量高于最先进的图像到图像翻译方法。
引用
@article{arxiv.1909.10363,
title = {Shadow Transfer: Single Image Relighting For Urban Road Scenes},
author = {Alexandra Carlson and Ram Vasudevan and Matthew Johnson-Roberson},
journal= {arXiv preprint arXiv:1909.10363},
year = {2019}
}