经验嵌入的视觉预瞻
计算机视觉与模式识别
2019-11-19 v2 机器学习
机器人学
摘要
视觉预瞻为智能体提供一扇通向未来的窗口,可用于在事件发生后之前预见并规划策略性行为。尽管在受限设定下的视频预测已取得令人印象深刻的成果,这些模型在遭遇不熟悉的真实世界物体时无法泛化。在本文中,我们通过快速适应解决泛化问题,训练一个预测模型以快速适应新物体观测到的视觉动力学。我们的方法,经验嵌入的视觉预瞻 (EVF),联合学习一个快速适应模块(将新物体的观测轨迹编码为向量嵌入)和一个视觉预测模型(以该嵌入为条件生成物理上合理的预测)。为评估,我们将我们的方法与基线在视频预测上比较,并在两个真实世界控制任务上基准测试其效用。我们展示我们的方法能够快速适应新视觉动力学,并在操控新物体时取得比基线更低的误差。
引用
@article{arxiv.1911.05071,
title = {Experience-Embedded Visual Foresight},
author = {Lin Yen-Chen and Maria Bauza and Phillip Isola},
journal= {arXiv preprint arXiv:1911.05071},
year = {2019}
}
备注
CoRL 2019. Project website: http://yenchenlin.me/evf/