基于解耦分层控制器的第三人称视觉模仿学习
机器学习
2019-11-22 v1 计算机视觉与模式识别
机器人学
机器学习
摘要
我们研究一种广义的演示学习设置，以构建这样一个智能体：仅通过观察一段第三人称视角的人类演示视频，就能在未见场景中操控新物体。为实现此目标，我们的智能体不仅需理解所演示第三人称视频在其语境中的意图，还要在其自身环境配置中执行该意图任务。我们的核心见解是在学习中显式强制这种结构，将“达成什么”（意图任务）与“如何执行”（控制器）解耦。我们提出了一种分层设置：高层模块基于第三人称视频演示学习生成一系列第一人称子目标，低层控制器预测达成这些子目标的动作。我们的智能体从原始图像观测行动，无需访问任何完整状态信息。我们在使用Baxter的真实机器人平台上展示了倒水和将物体放入盒子等操控任务的结果。项目视频与代码见 https://pathak22.github.io/hierarchical-imitation/
引用
@article{arxiv.1911.09676,
title = {Third-Person Visual Imitation Learning via Decoupled Hierarchical Controller},
author = {Pratyusha Sharma and Deepak Pathak and Abhinav Gupta},
journal= {arXiv preprint arXiv:1911.09676},
year = {2019}
}
备注
Accepted at NeurIPS 2019. Videos at https://pathak22.github.io/hierarchical-imitation/