深度广告牌：迈向虚拟现实中的无损实到仿
计算机视觉与模式识别
2022-08-19 v1 图形学
摘要
虚拟现实(VR)的一个理想目标是无损地引入丰富多样的真实世界物体。现有 VR 应用常将物体转换为带网格或点云的显式 3D 模型，这允许快速交互式渲染，但也严重限制了其质量与所支持物体的类型，从根本上限定了 VR“真实感”的上限。受游戏中经典“广告牌(billboards)”技术启发，我们开发了深度广告牌(Deep Billboards)，其使用神经网络隐式建模 3D 物体，仅根据用户视向实时渲染 2D 图像。我们的系统将商用 VR 头显与运行神经渲染的服务器连接，可在交互式 VR 世界中实时高分辨率模拟精细刚体、多毛物体、驱动动态物体等，大幅缩小现有的实到仿真(real2sim)差距。此外，我们为深度广告牌增强物理交互能力，将经典广告牌从基于屏幕的游戏适配到沉浸式 VR。在我们的展台，访客可使用现成设备快速捕获心爱物体，并在数分钟内以极小真实感损失在沉浸式交互 VR 世界中体验它们。我们的项目页：https://sites.google.com/view/deepbillboards/
引用
@article{arxiv.2208.08861,
title = {Deep Billboards towards Lossless Real2Sim in Virtual Reality},
author = {Naruya Kondo and So Kuroki and Ryosuke Hyakuta and Yutaka Matsuo and Shixiang Shane Gu and Yoichi Ochiai},
journal= {arXiv preprint arXiv:2208.08861},
year = {2022}
}
备注
SIGGRAPH 2022 Immersive Pavilion