Xihe:一种基于三维视觉的移动增强现实光照估计框架

全向光照为实现空间变化的光真实感三维渲染提供了基础,这是移动增强现实应用所期望的特性。然而在实践中,由于诸如渲染位置的部分全景图、固有的环境光照与移动用户动态性等限制,估计全向光照可能具有挑战性。近年来移动三维视觉(包括内置高精度深度传感器和深度学习驱动算法)的进展带来了新机遇,其提供了更好感知和理解物理环境的手段。围绕三维视觉这一关键思想,在本工作中我们设计了一个称为 Xihe 的边缘辅助框架,为移动 AR 应用提供实时获取准确全向光照估计的能力。具体而言,我们开发了一种新颖的采样技术,可高效压缩移动设备生成的原始点云输入。该技术基于我们对近期三维室内数据集的实证分析得出,并在我们基于三维视觉的光照估计器流水线设计中起关键作用。为实现实时目标,我们开发了用于设备上点云处理的定制 GPU 流水线,并使用了减少网络传输字节的编码技术。最后,我们提出了一种自适应触发策略使 Xihe 可跳过不必要的光照估计,以及一种提供与时间相干渲染集成到移动 AR 生态中的实用方法。我们使用基于 Xihe 的 API 开发的参考移动应用评估了 Xihe 的光照估计精度与时间。结果显示 Xihe 每次光照估计最快仅需 20.67ms,并比最先进的神经网络估计精度提升 9.4%。