PIP：基于跨度选择与心智模拟的物理交互预测
计算机视觉与模式识别
2021-11-30 v3 人工智能
摘要
准确预测物理交互的结果是人类智能的关键组成部分，对于机器人在真实世界中的安全高效部署具有重要意义。尽管现有的基于视觉的直觉物理模型能够学习预测物理交互的结果，但它们主要侧重于根据从视觉输入或潜在空间中提取的物理属性（如质量、摩擦力和速度）生成未来帧的短序列。然而，目前缺乏在具有不同物体间多重交互的长物理交互序列上进行测试的直觉物理模型。我们假设，在近似心智模拟过程中的选择性时间注意有助于人类预测物理交互的结果。基于这些动机，我们提出了一种新颖的方案：基于跨度选择与心智模拟的物理交互预测（PIP）。该方案利用深度生成模型通过生成物理交互的未来帧来对近似心智模拟进行建模，随后采用以跨度选择形式实现的选择性时间注意来预测物理交互的结果。为了评估我们的模型，我们进一步提出了大规模合成视频数据集 SPACE+，其中包含 3D 环境中三种主要物理交互的长序列。实验表明，PIP 优于人类、基线模型以及利用心智模拟的相关直觉物理模型。此外，PIP 的跨度选择模块能够有效识别指示物体间关键物理交互的帧，从而增加了可解释性。
引用
@article{arxiv.2109.04683,
title = {PIP: Physical Interaction Prediction via Mental Simulation with Span Selection},
author = {Jiafei Duan and Samson Yu and Soujanya Poria and Bihan Wen and Cheston Tan},
journal= {arXiv preprint arXiv:2109.04683},
year = {2021}
}
备注
Edited the title, and added supplementary material