LiveNVS：基于实时 RGB-D 流的新视角神经合成
计算机视觉与模式识别
2023-11-30 v2 图形学
摘要
现有的实时 RGB-D 重建方法（如 Kinect Fusion）缺乏实时照片级真实感可视化。这是由于从不完美深度图与相机位姿融合得到的几何含有噪声、过平滑或不完整，且纹理模糊。近期的神经渲染方法可克服许多此类伪影，但主要针对离线使用而优化，阻碍了集成到实时重建流水线中。本文中，我们提出 LiveNVS，一种允许在实时 RGB-D 输入流上进行神经新视角合成、具有极低延迟与实时渲染的系统。基于 RGB-D 输入流，通过将神经特征经稠密融合深度图投影至目标视角，并在图像空间聚合特征至目标特征图，来渲染新视角。一个可泛化的神经网络随后将目标特征图转换为高质量 RGB 图像。LiveNVS 在采集过程中对未知场景实现了最先进的神经渲染质量，使用户可实时虚拟探索场景并评估重建质量。
引用
@article{arxiv.2311.16668,
title = {LiveNVS: Neural View Synthesis on Live RGB-D Streams},
author = {Laura Fink and Darius Rückert and Linus Franke and Joachim Keinert and Marc Stamminger},
journal= {arXiv preprint arXiv:2311.16668},
year = {2023}
}
备注
main paper: 8 pages, total number of pages: 15, 13 figures, to be published in SIGGRAPH Asia 2023 Conference Papers; edits: link was fixed