基于量子启发经验回放的深度强化学习
机器学习
2021-01-07 v1 人工智能
量子物理
摘要
本文提出一种受量子计算启发的新型训练范式，用于带经验回放的深度强化学习（DRL）。与传统 DRL 中的经验回放机制不同，所提的基于量子启发经验回放的深度强化学习（DRL-QER）根据每个经验（亦称转移）的复杂度与回放次数自适应地从回放缓冲区中选取经验，以在探索与利用间取得平衡。在 DRL-QER 中，转移首先以量子表示形式表述，随后对转移执行制备操作与折旧操作。此过程中，制备操作反映了时序差分误差（TD-errors）与经验重要性之间的关系，而折旧操作被纳入考量以确保转移的多样性。在 Atari 2600 游戏上的实验结果表明，DRL-QER 在多数游戏中以更高训练效率优于 DRL-PER 与 DCRL 等最先进算法，并且也适用于双网络与对决网络等基于记忆的 DRL 方法。
引用
@article{arxiv.2101.02034,
title = {Deep Reinforcement Learning with Quantum-inspired Experience Replay},
author = {Qing Wei and Hailan Ma and Chunlin Chen and Daoyi Dong},
journal= {arXiv preprint arXiv:2101.02034},
year = {2021}
}