LitAR：面向移动增强现实的视觉连贯光照
计算机视觉与模式识别
2023-01-18 v1
摘要
准确理解全向环境光照对于移动增强现实（AR）中高质量的虚拟物体渲染至关重要。特别是，为了支持反射渲染，现有方法利用深度学习模型进行估计，或使用物理光探针捕获物理光照，通常以环境贴图的形式表示。然而，这些方法往往无法提供视觉连贯的细节，或者需要额外的设置。例如，商业框架 ARKit 使用卷积神经网络生成逼真的环境贴图；但相应的反射渲染可能与物理环境不匹配。在本工作中，我们提出了一种名为 LitAR 的光照重建框架的设计与实现，该框架能够实现逼真且视觉连贯的渲染。LitAR 解决了支持移动 AR 光照信息的若干挑战。首先，为了解决空间方差问题，LitAR 采用双场光照重建，将光照重建任务划分为感知空间方差的近场重建和感知方向的远场重建。相应的环境贴图允许具有正确色调的反射渲染。其次，LitAR 采用两种容噪数据捕获策略以确保数据质量，即引导式自举移动和基于运动的自动捕获。第三，为了处理移动计算能力与光照重建高计算需求之间的不匹配，LitAR 采用了两种新颖的实时环境贴图渲染技术：多分辨率投影和锚点外推。这两种技术有效消除了耗时的网格重建需求，同时保持了视觉质量。
引用
@article{arxiv.2301.06184,
title = {LitAR: Visually Coherent Lighting for Mobile Augmented Reality},
author = {Yiqin Zhao and Chongyang Ma and Haibin Huang and Tian Guo},
journal= {arXiv preprint arXiv:2301.06184},
year = {2023}
}