利用关系归纳偏置学习刚体物体的视觉动力学模型
机器学习
2019-10-24 v3 计算机视觉与模式识别
图像与视频处理
机器学习
摘要
赋予机器人类人的物理推理能力仍具挑战性。我们认为现有方法常忽视时空关系，而通过采用蕴含关系归纳偏置的图神经网络（Graph Neural Networks, GNNs），可将学习过程转向利用关系。在本工作中，我们从涉及杂乱且形状不规则物体的视觉观测中学习模拟操控任务的动作条件前向动力学模型。我们探究两种 GNN 方法，并实证评估其向含新颖且数量递增物体的场景泛化的能力。第一种基于图网络（Graph Networks, GN）的方法考虑显式定义的边属性，其不仅始终逊于我们改进以预测未来状态的自动编码器基线，结果还表明不同边属性会显著影响预测。据此，我们开发了不依赖显式定义边属性的 Auto-Predictor。它优于基线与基于 GN 的模型。总体而言，我们的结果展示了基于 GNN 的方法对任务表示的敏感性、关系归纳偏置的有效性，并主张选择隐式推理关系的轻量方法，而非将此类决策留给人类设计者的方法。
引用
@article{arxiv.1909.03749,
title = {Learning Visual Dynamics Models of Rigid Objects using Relational Inductive Biases},
author = {Fabio Ferreira and Lin Shao and Tamim Asfour and Jeannette Bohg},
journal= {arXiv preprint arXiv:1909.03749},
year = {2019}
}
备注
short paper (4 pages, two figures), accepted to NeurIPS 2019 Graph Representation Learning workshop