沉浸式神经图形基元
计算机视觉与模式识别
2022-11-28 v1 图形学
人机交互
机器学习
摘要
神经辐射场（NeRF），特别是其实例化神经图形基元的扩展，是一种用于视图合成的新型渲染方法，利用真实世界图像构建照片级真实的沉浸式虚拟场景。尽管潜力巨大，关于 NeRF 与虚拟现实（VR）结合的研究仍然稀少。目前尚无与典型 VR 系统的集成，且 NeRF 实现在 VR 中的性能与适用性尚未被评估，例如针对不同场景复杂度或屏幕分辨率。在本文中，我们提出并评估了一个基于 NeRF 的框架，能够在沉浸式 VR 中渲染场景，允许用户自由移动头部探索复杂真实世界场景。我们通过在不同场景复杂度与分辨率下对三个不同 NeRF 场景的渲染性能进行基准测试来评估我们的框架。利用超分辨率，我们的方法可实现每秒 30 帧、每眼 1280x720 像素分辨率的帧率。我们讨论了该框架的潜在应用，并在线提供了开源实现。
引用
@article{arxiv.2211.13494,
title = {Immersive Neural Graphics Primitives},
author = {Ke Li and Tim Rolff and Susanne Schmidt and Reinhard Bacher and Simone Frintrop and Wim Leemans and Frank Steinicke},
journal= {arXiv preprint arXiv:2211.13494},
year = {2022}
}
备注
Submitted to IEEE VR, currently under review