用于基于模型适应的好奇回放
机器学习
2023-06-29 v1 人工智能
机器学习
摘要
智能体必须能够在环境变化时快速适应。我们发现现有的基于模型的强化学习智能体对此表现不佳，部分原因在于它们利用过往经验训练世界模型的方式。在此，我们提出好奇回放（Curious Replay）——一种通过使用基于好奇的优先级信号、为基于模型的智能体量身定制的优先经验回放。采用好奇回放的智能体在受动物行为启发的探索范式以及 Crafter 基准上均表现出性能提升。结合好奇回放的 DreamerV3 在 Crafter 上超越了最先进的性能，取得 19.4 的平均分，相较使用均匀回放的 DreamerV3 此前最高分 14.5 有大幅提高，同时在 Deepmind Control Suite 上保持相近性能。好奇回放的代码见 https://github.com/AutonomousAgentsLab/curiousreplay
引用
@article{arxiv.2306.15934,
title = {Curious Replay for Model-based Adaptation},
author = {Isaac Kauvar and Chris Doyle and Linqi Zhou and Nick Haber},
journal= {arXiv preprint arXiv:2306.15934},
year = {2023}
}
备注
Accepted at ICML 2023. Website at https://sites.google.com/view/curious-replay