NeRF2Real：基于神经辐射场的视觉引导双足运动技能仿真到实物的迁移
机器人学
2022-10-12 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出了一个将 sim2real（仿真到实物）方法应用于具有真实视觉的“野外”场景，以及依赖于使用 RGB 相机进行主动感知的策略的系统。给定使用普通手机采集的静态场景短视频，我们学习该场景的接触几何以及一个用于新视角合成的函数，采用神经辐射场（NeRF）。我们通过叠加其他动态对象（例如机器人自身身体、球）的渲染来扩充静态场景的 NeRF 渲染。随后利用物理模拟器中的渲染引擎创建仿真，该引擎根据静态场景几何（由 NeRF 体密度估计）以及动态对象的几何与物理属性（假定已知）计算接触动力学。我们证明，可以利用该仿真为具有驱动的头戴式 RGB 相机的 20 自由度人形机器人学习基于视觉的全身导航与推球策略，并成功将这些策略迁移到真实机器人。项目视频见 https://sites.google.com/view/nerf2real/home
引用
@article{arxiv.2210.04932,
title = {NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields},
author = {Arunkumar Byravan and Jan Humplik and Leonard Hasenclever and Arthur Brussee and Francesco Nori and Tuomas Haarnoja and Ben Moran and Steven Bohez and Fereshteh Sadeghi and Bojan Vujatovic and Nicolas Heess},
journal= {arXiv preprint arXiv:2210.04932},
year = {2022}
}