不做无关之事：基于动作有用性的内在动机
机器学习
2021-06-01 v2
摘要
稀疏奖励是强化学习中一把双刃的训练信号：易于设计却难以优化。因此，人们开发了内在动机引导以缓解由此产生的探索问题。它们通常通过新颖性信号激励智能体寻找新状态。然而，此类方法鼓励对状态空间进行穷尽探索，而非聚焦于环境中显著的交互机会。我们提出一种新的探索方法，称为 Don't Do What Doesn't Matter (DoWhaM)，将重点从状态新颖性转移到具有相关动作的状态。虽然大多数动作在使用时持续改变状态，例如移动智能体，但某些动作仅在特定状态下有效，例如开门、抓取物体。DoWhaM 检测并奖励极少影响环境的动作。我们在程序生成的环境 MiniGrid 上评估 DoWhaM，与最先进的方法对比，表明 DoWhaM 大幅降低了样本复杂度。
引用
@article{arxiv.2105.09992,
title = {Don't Do What Doesn't Matter: Intrinsic Motivation with Action Usefulness},
author = {Mathieu Seurin and Florian Strub and Philippe Preux and Olivier Pietquin},
journal= {arXiv preprint arXiv:2105.09992},
year = {2021}
}
备注
Accepted at Internationnal Joint Conference on Artificial Intelligence (IJCAI'21) and Self-Supervision for Reinforcement Learning Workshop (SSL-RL @ICLR'21)