Magic NeRF Lens：面向虚拟设施巡检的神经辐射场交互式融合
图形学
2024-10-28 v1 人机交互
摘要
粒子加速器和核电站等大型工业设施是科学研究和工业过程的关键基础设施。这些设施是复杂的系统，不仅需要定期维护和升级，而且由于各种安全隐患，人类往往无法进入。因此，能够快速复制真实世界远程环境以为用户提供高度空间和环境感知的虚拟现实（VR）系统，对于设施维护规划至关重要。然而，这些设施精确的 3D 形状通常过于复杂，无法通过传统光栅化管线用几何图元准确建模。在这项工作中，我们开发了 Magic NeRF Lens，一个利用神经辐射场（NeRF）和体渲染在沉浸式 VR 中支持设施巡检的交互式框架。我们引入了一种新颖的数据融合方法，结合了体渲染和几何光栅化的互补优势，允许将 NeRF 模型与其他常规 3D 数据（如计算机辅助设计模型）合并。我们开发了两种新颖的 3D 魔法透镜效果，通过利用人类视觉特性和上下文感知可视化来优化 NeRF 渲染。我们通过技术基准测试、视觉搜索用户研究和专家评审展示了我们框架和方法的高可用性。此外，我们的 VR NeRF 框架源代码已公开，以供未来研究和开发。
引用
@article{arxiv.2307.09860,
title = {Magic NeRF Lens: Interactive Fusion of Neural Radiance Fields for Virtual Facility Inspection},
author = {Ke Li and Susanne Schmidt and Tim Rolff and Reinhard Bacher and Wim Leemans and Frank Steinicke},
journal= {arXiv preprint arXiv:2307.09860},
year = {2024}
}
备注
This work has been submitted to the IEEE TVCG for possible publication