NeuralPassthrough：面向 VR 的学习型实时视图合成
计算机视觉与模式识别
2022-07-06 v1 机器学习
摘要
虚拟现实（VR）头显提供沉浸式立体视觉体验，但代价是阻挡用户直接观察其物理环境。透传（passthrough）技术旨在通过利用朝外的摄像头重建用户若不戴头显本应看到的画面，以解决这一局限。这本质上是一项实时视图合成挑战，因为透传摄像头无法在物理上与眼睛共位。现有透传技术存在令人分心的重建伪影，主要由于缺乏精确的深度信息（尤其是近场和遮挡物），并且图像质量有限（例如低分辨率与单色）。本文提出首个学习型透传方法，并使用包含一对立体 RGB 摄像头的定制 VR 头显评估其性能。通过仿真与实验，我们证明所提学习型透传方法相比最先进（SOTA）方法具有更优图像质量，同时满足桌面连接头显在宽视场下实时、透视正确的立体视图合成的严格 VR 要求。
引用
@article{arxiv.2207.02186,
title = {NeuralPassthrough: Learned Real-Time View Synthesis for VR},
author = {Lei Xiao and Salah Nouri and Joel Hegland and Alberto Garcia Garcia and Douglas Lanman},
journal= {arXiv preprint arXiv:2207.02186},
year = {2022}
}
备注
9 pages, 12 figures