基于动态记忆的好奇心：一种用于探索的自举方法
人工智能
2023-11-21 v2
摘要
外在奖励的稀疏性对强化学习（RL）构成了严峻挑战。当前，许多研究致力于好奇心，其可为有效探索提供具有代表性的内在奖励。然而，该挑战远未解决。本文提出一种用于 RL 的新颖好奇心方法，称为 DyMeCu，即基于动态记忆的好奇心（Dynamic Memory-based Curiosity）。受人类好奇心与信息论启发，DyMeCu 由一个动态记忆与双在线学习器组成。若记忆信息无法处理当前状态，则引发好奇心，且双学习器间的信息差距可表述为智能体的内在奖励，随后该状态信息可巩固至动态记忆中。相较以往好奇心方法，DyMeCu 借助动态记忆能更好模拟人类好奇心，且记忆模块可基于双学习器的自举范式动态增长。在包括 DeepMind Control Suite 与 Atari Suite 的多个基准上进行了大规模实证实验，结果表明 DyMeCu 在有或无外在奖励下均优于具有竞争力的基于好奇心的方法。我们将发布代码以增强可复现性。
引用
@article{arxiv.2208.11349,
title = {Dynamic Memory-based Curiosity: A Bootstrap Approach for Exploration},
author = {Zijian Gao and YiYing Li and Kele Xu and Yuanzhao Zhai and Dawei Feng and Bo Ding and XinJun Mao and Huaimin Wang},
journal= {arXiv preprint arXiv:2208.11349},
year = {2023}
}