基于视觉观察的无监督直觉物理学习
计算机视觉与模式识别
2019-04-01 v2 人工智能
摘要
尽管学习直觉物理模型是日益活跃的研究领域，当前方法在一个重要方面仍不及自然智能：它们在训练时、有时甚至在测试时需要外部监督，例如显式访问物理状态。一些作者通过为模型补充手工物理模拟器来放宽此类要求。然而，所得方法仍无法自动学习新复杂环境并理解其中的物理交互。本工作中，我们首次展示了直接从原始视觉观察中学习此类预测器且无需依赖模拟器。我们分两步实现：首先，利用因果性与等变性这两种无需自编码的无监督学习原则，学习在视频中跟踪机械显著物体；其次，我们证明所提取的位置足以成功训练可考虑底层环境的视觉运动预测器。我们在合成数据集上验证预测器；随后引入新数据集ROLL4REAL，由真实物体在复杂地形（台球桌、椭圆碗与随机高度场）上滚动构成。我们展示在所有此类情形下，仅从原始视频即可学习可靠的物体轨迹外推器，无任何外部监督形式，且除选择卷积神经网络架构外无更多先验知识。
引用
@article{arxiv.1805.05086,
title = {Unsupervised Intuitive Physics from Visual Observations},
author = {Sebastien Ehrhardt and Aron Monszpart and Niloy Mitra and Andrea Vedaldi},
journal= {arXiv preprint arXiv:1805.05086},
year = {2019}
}