习得物理模型的视觉锚定
机器学习
2020-06-30 v2 计算机视觉与模式识别
机器学习
摘要
人类能够直观地识别物体的物理属性并预测其运动，即便物体处于复杂的相互作用中。进行物理推理和适应新环境的能力虽为人类所固有，但对最先进的计算模型而言仍具挑战。本工作中，我们提出一种神经模型，可同时基于视觉与动力学先验进行物理推理并作出未来预测。视觉先验从视觉观测中预测系统的基于粒子的表示。一个推断模块在这些粒子上运行，预测并精炼粒子位置、物体状态与物理参数的估计，并受我们称之为视觉锚定的动力学先验所施加的约束。我们在包含刚体、可变形材料与流体的环境中展示了方法的有效性。实验表明，我们的模型能在少量观测内推断出物理属性，从而使模型快速适应未见场景并对未来作出准确预测。
引用
@article{arxiv.2004.13664,
title = {Visual Grounding of Learned Physical Models},
author = {Yunzhu Li and Toru Lin and Kexin Yi and Daniel M. Bear and Daniel L. K. Yamins and Jiajun Wu and Joshua B. Tenenbaum and Antonio Torralba},
journal= {arXiv preprint arXiv:2004.13664},
year = {2020}
}
备注
The second and the third authors contributed equally to this paper, and are listed in alphabetical order. Project Page: http://visual-physics-grounding.csail.mit.edu/