基于组合式神经辐射场学习多物体动力学
计算机视觉与模式识别
2022-07-28 v3 机器学习
机器人学
摘要
我们提出一种基于隐式物体编码器、神经辐射场（NeRFs）和图神经网络从图像观测学习组合式多物体动力学模型的方法。NeRFs 因其强 3D 先验已成为表示场景的流行选择。然而，大多数 NeRF 方法在单一场景上训练，用全局模型表示整个场景，使得泛化到包含不同数量物体的新场景具有挑战性。相反，我们提出一个组合式、以物体为中心的自编码器框架，将场景的多视角映射为分别表示每个物体的潜向量集合。这些潜向量参数化个体 NeRFs，由此可重建场景。基于这些潜向量，我们在潜空间训练图神经网络动力学模型以实现动力学预测的组合性。我们方法的一个关键特征是潜向量通过 NeRF 解码器被迫编码 3D 信息，这使我们能在学习动力学模型中融入结构先验，与若干基线相比使长期预测更稳定。仿真与真实世界实验表明，我们的方法能建模并学习包含刚性和可变形物体的组合式场景动力学。视频：https://dannydriess.github.io/compnerfdyn/
引用
@article{arxiv.2202.11855,
title = {Learning Multi-Object Dynamics with Compositional Neural Radiance Fields},
author = {Danny Driess and Zhiao Huang and Yunzhu Li and Russ Tedrake and Marc Toussaint},
journal= {arXiv preprint arXiv:2202.11855},
year = {2022}
}
备注
v3: real robot exp