神经场的辐射： democratizing photorealistic and dynamic robotic simulation

随着机器人日益与人类共存，他们必须导航复杂且充满动态信息和潜在社交动态的环境，例如何时让路或穿行人群。为此，需要在视觉感知和社会动态因素方面取得显著进展，尤其是在诸如导航等任务中。为此，机器人研究者需要提供具有动态、照片逼真环境和真实主体的高级仿真平台。不幸的是，大多数现有仿真器不足，优先考虑几何准确性而非视觉保真度，采用不真实且轨迹固定的代理人且画质较低。为克服这些限制，我们开发了一个整合三个关键要素的仿真器：(1) 环境的照片级神经渲染，(2) 具有行为管理的神经动画人类实体，(3) 为机器人主体提供多传感器输出的自我中心代理人。通过在双NeRF仿真器中运用先进的神经渲染技术，我们的系统对环境和人类实体都产生高保真、照片逼真的渲染。此外，它整合了最先进的社会力模型来建模人类-人类和人类-机器人之间的动态互动，创建了第一个由神经渲染驱动的照片逼真且可接取的人类-机器人仿真系统。