一种将虚拟物体插入神经辐射场的实时方法
计算机视觉与模式识别
2023-10-10 v1 图形学
摘要
我们提出了首个将刚性虚拟物体插入神经辐射场的实时方法，其产生逼真的光照与阴影效果，并允许对物体进行交互式操控。通过利用 NeRF 中关于光照与几何的丰富信息，我们的方法克服了增强现实中物体插入的若干挑战。对于光照估计，我们生成准确、鲁棒且三维空间变化的入射光照，其结合了来自 NeRF 的近场光照与环境光照，以考虑 NeRF 未覆盖的源。对于遮挡，我们使用从 NeRF 积分得到的透明度图将渲染的虚拟物体与背景场景混合。对于阴影，借助预计算的球面有符号距离场，我们查询虚拟物体周围任意点的可见性项，并将柔和、细致的阴影投射到三维表面上。与最先进技术相比，我们的方法能以更优保真度将虚拟物体插入场景，并具有进一步应用于增强现实系统的巨大潜力。
引用
@article{arxiv.2310.05837,
title = {A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields},
author = {Keyang Ye and Hongzhi Wu and Xin Tong and Kun Zhou},
journal= {arXiv preprint arXiv:2310.05837},
year = {2023}
}