从多样化视频中进行图逆强化学习
机器学习
2022-08-02 v2 计算机视觉与模式识别
机器人学
摘要
从第三人称视频中进行逆强化学习（IRL）的研究，在消除机器人任务中手动设计奖励的需求方面已显示出令人鼓舞的结果。然而，大多数先前工作仍受限于从相对受限的视频领域进行训练。在本文中，我们认为第三人称 IRL 的真正潜力在于增加视频的多样性以实现更好的扩展。为了从多样化视频中学习奖励函数，我们提出对视频进行图抽象，随后在图空间中进行时间匹配以衡量任务进展。我们的见解是，一个任务可以由形成图的实体交互来描述，而这种图抽象有助于去除纹理等无关信息，从而得到更鲁棒的奖励函数。我们在 X-MAGICAL 中的跨载体学习以及从人类演示中进行真实机器人操纵来评估我们的方法 GraphIRL。我们展示了相比先前方法对多样化视频演示的鲁棒性有显著提升，甚至在真实机器人推动任务上取得了比手动设计奖励更好的结果。视频可在 https://sateeshkumar21.github.io/GraphIRL 查看。
引用
@article{arxiv.2207.14299,
title = {Graph Inverse Reinforcement Learning from Diverse Videos},
author = {Sateesh Kumar and Jonathan Zamora and Nicklas Hansen and Rishabh Jangir and Xiaolong Wang},
journal= {arXiv preprint arXiv:2207.14299},
year = {2022}
}
备注
Project page: https://sateeshkumar21.github.io/GraphIRL