PointAR：面向移动增强现实的轻量光照估计方法
计算机视觉与模式识别
2020-07-21 v4 图像与视频处理
摘要
我们提出了一种适用于现代移动设备的高效光照估计流程，其资源复杂度与最先进的移动深度学习模型相当。我们的流程 PointAR 接收移动摄像头捕获的单张 RGB-D 图像以及该图像中的一个二维位置，并估计二阶球谐系数。在增强现实场景下，估计出的球谐系数可直接被渲染引擎用于支持空间变化的室内光照。我们的核心思路是将光照估计表述为基于点云的直接从点云学习的问题，这部分受到了实时球谐光照所利用的蒙特卡洛积分的启发。现有方法使用复杂的深度学习流程估计光照信息，而我们的方法侧重于降低计算复杂度。通过定量与定性实验，我们证明 PointAR 相比最先进的方法取得了更低的光照估计误差。此外，我们的方法所需资源低一个数量级，与移动专用 DNN 相当。
引用
@article{arxiv.2004.00006,
title = {PointAR: Efficient Lighting Estimation for Mobile Augmented Reality},
author = {Yiqin Zhao and Tian Guo},
journal= {arXiv preprint arXiv:2004.00006},
year = {2020}
}
备注
Accepted to 16th European Conference On Computer Vision (ECCV'20)