视频的实时全局光照分解
计算机视觉与模式识别
2021-08-18 v2
摘要
我们提出了第一种将单目彩色视频实时分解为直接光照与间接光照分量方法。我们在独立图层中恢复场景反射率、光源以及各相干场景区域相互反射对场景外观的贡献。现有的反演全局光传输技术需要在多路复用受控光照下采集图像，或仅能以缓慢的离线帧率分解单幅图像。相比之下，我们的方法适用于常规视频，并以实时帧率产生时间相干的分解图层。我们方法的核心是基于若干稀疏先验，其能够根据一小集合联合估计的基础反射率颜色估计逐像素的直接与间接光照图层。所得到的变分分解问题使用了一种基于稀疏与稠密非线性方程组的新公式，我们通过一种新颖的并行交替数据优化策略高效求解。我们从定性与定量上评估了我们的方法，并展示了在该领域质量与运行时间上相对最先进方法的改进。此外，我们展示了多种具有一致光照的视频实时外观编辑应用。
引用
@article{arxiv.1908.01961,
title = {Real-Time Global Illumination Decomposition of Videos},
author = {Abhimitra Meka and Mohammad Shafiei and Michael Zollhoefer and Christian Richardt and Christian Theobalt},
journal= {arXiv preprint arXiv:1908.01961},
year = {2021}
}