基于对比循环状态空间模型从像素进行鲁棒机器人控制
机器学习
2021-12-03 v1 人工智能
机器人学
摘要
对世界进行建模可通过为塑造智能体潜状态空间提供丰富训练信号而惠及机器人学习。然而，在高维观测空间（如图像）上于无约束环境中学习世界模型具有挑战性。困难的一个来源是存在无关却难以建模的背景干扰，以及任务相关实体的不重要视觉细节。我们通过学习一个对比预测下一观测的循环潜动力学模型来解决此问题。这一简单模型带来了令人惊讶的鲁棒机器人控制，即便同时存在相机、背景与颜色干扰。我们优于诸如双模拟方法等替代方案，后者施加了源自未来奖励或未来最优动作发散的状态相似性度量。我们在 Distracting Control Suite（一个基于像素的机器人控制的挑战性基准）上取得了最先进的结果。
引用
@article{arxiv.2112.01163,
title = {Robust Robotic Control from Pixels using Contrastive Recurrent State-Space Models},
author = {Nitish Srivastava and Walter Talbott and Martin Bertran Lopez and Shuangfei Zhai and Josh Susskind},
journal= {arXiv preprint arXiv:2112.01163},
year = {2021}
}
备注
NeurIPS Deep Reinforcement Learning Workshop 2021. Code can be found at https://github.com/apple/ml-core