动力学增强神经物体的可微物理仿真
机器人学
2023-03-14 v3 人工智能
摘要
我们提出一个可微流水线，用于仿真以连续密度场（参数化为深度网络）表示几何的物体的运动。这包括神经辐射场(NeRFs)及其他相关模型。由密度场我们估计物体的动力学属性，包括其质量、质心与惯性矩阵。随后我们引入基于密度场的可微接触模型，用于计算碰撞产生的法向与摩擦力。这使得机器人能从运动物体的静图像与视频中自主构建视觉与\emph{动力学}上都准确的物体模型。所得的动力学增强神经物体(DANOs)用现有可微仿真引擎 Dojo 仿真，与球、平面及以 URDF 指定的机器人等其他标准仿真物体交互。机器人可利用该仿真优化神经物体的抓取与操作轨迹，或通过基于梯度的实到仿真迁移改进神经物体模型。我们展示了从肥皂条在桌上滑动的真实视频学习其摩擦系数的流水线。我们还通过 Panda 机械臂从合成数据的交互学习斯坦福兔子的摩擦系数与质量，并在仿真中优化 Panda 臂将兔子推至目标位置的轨迹。
引用
@article{arxiv.2210.09420,
title = {Differentiable Physics Simulation of Dynamics-Augmented Neural Objects},
author = {Simon Le Cleac'h and Hong-Xing Yu and Michelle Guo and Taylor A. Howell and Ruohan Gao and Jiajun Wu and Zachary Manchester and Mac Schwager},
journal= {arXiv preprint arXiv:2210.09420},
year = {2023}
}