用于探索的简单传感器意图
机器学习
2020-05-18 v1 人工智能
机器人学
机器学习
摘要
现代强化学习算法能够学习解决日益困难的控制问题，同时减少其应用所需的先验知识量。剩余的挑战之一是定义适当促进探索而不以不良方式偏置解、且可在真实机器人系统上无需昂贵仪器即可实现的奖励方案。本文关注一种设定：目标任务由简单稀疏奖励定义，而探索由智能体内部辅助任务促进。我们引入简单传感器意图（SSI）作为定义辅助任务的通用方式。SSI减少了定义合适奖励所需的先验知识量。它们还可直接从原始传感器流计算，因此不需要在真实系统上进行昂贵且可能脆弱的状态估计。我们证明基于这些奖励的学习系统可在仿真与真实世界设定中解决复杂机器人任务。特别地，我们展示真实机械臂可从零开始学会抓取与抬起，并解决杯中球任务，当仅使用原始传感器流同时作为控制器输入和辅助奖励定义时。
引用
@article{arxiv.2005.07541,
title = {Simple Sensor Intentions for Exploration},
author = {Tim Hertweck and Martin Riedmiller and Michael Bloesch and Jost Tobias Springenberg and Noah Siegel and Markus Wulfmeier and Roland Hafner and Nicolas Heess},
journal= {arXiv preprint arXiv:2005.07541},
year = {2020}
}