具有群对称性的持续基于视觉的强化学习
机器学习
2023-06-16 v2
摘要
持续强化学习旨在顺序学习多种任务，在保留执行已遇任务能力的同时，为新任务发展出新策略。然而，当前的持续 RL 方法忽视了某些任务在旋转或平移等基本群操作下等价的事实，尤其在视觉输入时。它们可能不必要地为每个相似任务学习并维护一个新策略，导致样本效率低下与泛化能力弱。为此，我们提出一种识别群对称性的独特持续基于视觉的强化学习方法，称为 COVERS，为每个等价任务组而非单个任务培育策略。COVERS 采用基于近端策略优化（PPO）的 RL 算法，配备等变特征提取器与一种依赖所提取不变特征的新颖任务分组机制。我们在包含图像观测与机器人本体感知信息的桌面操作任务序列上，于仿真与真实机器人平台评估 COVERS。结果表明，COVERS 能准确将任务分配至相应组，并在泛化能力上显著优于现有方法。
引用
@article{arxiv.2210.12301,
title = {Continual Vision-based Reinforcement Learning with Group Symmetries},
author = {Shiqi Liu and Mengdi Xu and Piede Huang and Yongkang Liu and Kentaro Oguchi and Ding Zhao},
journal= {arXiv preprint arXiv:2210.12301},
year = {2023}
}
备注
15 pages, 12 figures