强化学习中利用记忆编辑学习用户定义的子目标
人工智能
2022-05-03 v1
摘要
强化学习（RL）的目标是使智能体达成最终目标。多数RL研究聚焦于提升学习效率以更快达成最终目标。然而，RL模型在抵达最终目标的过程中极难修改中间路径。亦即，在现有研究中智能体无法受控去达成其他子目标。若智能体能在通往目的地的途中经过子目标，RL便可被应用于诸多领域并展开研究。本文中，我提出一种利用记忆编辑来实现用户定义子目标及最终目标的方法论。记忆编辑通过生成多种子目标并给予智能体额外奖励来执行。此外，子目标与最终目标被分别学习。我设定了两个简单环境及测试环境中的多种场景。结果表明，智能体在受控下几乎成功经过了子目标与最终目标。而且，智能体能够被间接诱导去访问环境中的新状态。我期望该方法论可用于需要多场景控制智能体的领域。
引用
@article{arxiv.2205.00399,
title = {Learning user-defined sub-goals using memory editing in reinforcement learning},
author = {GyeongTaek Lee},
journal= {arXiv preprint arXiv:2205.00399},
year = {2022}
}