ViSaRL：受人类注意力指导的视觉强化学习
机器人学
2024-10-22 v3 机器学习
摘要
使用强化学习（RL）从高维像素输入训练机器人执行复杂控制任务会导致样本效率低下，因为图像观测主要由 task-irrelevant information 组成。相比之下，人类能够视觉注意力集中于 task-relevant objects and areas。基于此洞察，我们引入了 Visual Saliency-Guided Reinforcement Learning（ViSaRL）。使用 ViSaRL 学习视觉表征可显著提高 RL 智能体在 diverse tasks 上的成功率、样本效率和泛化能力，包括 DeepMind Control benchmark、机器人在仿真中的操作以及实际机器人上的操作。我们提出了将注意力融入 CNN 和 Transformer-based 编码器的方法。我们表明，使用 ViSaRL 学习的视觉表征对 various sources of visual perturbations（各种视觉扰动），包括感知噪声和场景变化，具有鲁棒性。ViSaRL 的成功率几乎是不使用注意力的基线方法的两倍。
引用
@article{arxiv.2403.10940,
title = {ViSaRL: Visual Reinforcement Learning Guided by Human Saliency},
author = {Anthony Liang and Jesse Thomason and Erdem Bıyık},
journal= {arXiv preprint arXiv:2403.10940},
year = {2024}
}