对抗技能网络：从视频中进行无监督机器人技能学习
计算机视觉与模式识别
2020-02-07 v2 机器学习
机器人学
摘要
在真实世界中部署强化学习(RL)智能体的关键挑战在于在无奖励函数情况下技能的发现有、表示与复用。为此，我们提出一种从无标签多视角视频中学习任务无关的技能嵌入空间的新方法。我们的方法通过对抗损失独立于任务上下文学习通用技能嵌入。我们将利用时间视频连贯性学习状态表示的度量学习损失，与熵正则化对抗技能迁移损失相结合。度量学习损失通过吸引同一观测的同步视角并排斥来自时间邻域的视觉相似帧来学习解耦表示。对抗技能迁移损失增强了所学技能嵌入在多个任务域上的可复用性。我们展示了所学嵌入能够训练连续控制策略以解决需要对已见技能进行插值的新型任务。我们在仿真与真实世界数据上的广泛评估证明了我们的方法在从无标签交互视频中学习可迁移技能并组合用于新任务方面的有效性。代码、预训练模型与数据集可在 http://robotskills.cs.uni-freiburg.de 获取。
引用
@article{arxiv.1910.09430,
title = {Adversarial Skill Networks: Unsupervised Robot Skill Learning from Video},
author = {Oier Mees and Markus Merklinger and Gabriel Kalweit and Wolfram Burgard},
journal= {arXiv preprint arXiv:1910.09430},
year = {2020}
}
备注
Accepted at the 2020 IEEE International Conference on Robotics and Automation (ICRA). Video at https://www.youtube.com/watch?v=z8gG1k9kSqA Project page at http://robotskills.cs.uni-freiburg.de