有限视觉可观测性下的主动视觉强化学习
机器学习
2023-11-07 v2 计算机视觉与模式识别
机器人学
摘要
本工作中,我们研究主动视觉强化学习(ActiveVision-RL),其中具身智能体在部分可观测环境中同时学习任务动作策略并控制其视觉观测。我们将前者称为运动策略,后者称为感知策略。例如,人类通过手部操作(运动策略)与眼动(感知策略)协作解决真实世界任务。ActiveVision-RL在协调两种策略方面存在挑战,因其相互影响。我们提出SUGARL( Sensorimotor Understanding Guided Active Reinforcement Learning,感知运动理解引导的主动强化学习),一种将运动与感知策略分别建模但利用内在感知运动奖励联合学习的框架。该可学习奖励由感知运动奖励模块分配,受人类感知运动阶段启发,激励感知策略选择最利于推断自身运动动作的观察。通过一系列实验,我们展示了方法在不同可观测性条件下的有效性及其对现有RL算法的适应性。经本方法学习的感知策略展现出有效的主动视觉策略。
引用
@article{arxiv.2306.00975,
title = {Active Vision Reinforcement Learning under Limited Visual Observability},
author = {Jinghuan Shang and Michael S. Ryoo},
journal= {arXiv preprint arXiv:2306.00975},
year = {2023}
}
备注
NeurIPS 2023. Project page at https://elicassion.github.io/sugarl/sugarl.html Code at https://github.com/elicassion/sugarl Environment library at https://github.com/elicassion/active-gym