基于量子储备池计算的高效量子循环强化学习
量子物理
2023-09-15 v1 人工智能
新兴技术
机器学习
神经与进化计算
摘要
量子强化学习（QRL）已成为解决序贯决策任务的一种框架，并展现出经验性的量子优势。一个显著进展是通过量子循环神经网络（QRNN）来处理部分可观测环境等记忆密集型任务。然而，结合 QRNN 的 QRL 模型面临诸多挑战，例如 QRNN 中梯度的计算既耗费计算资源又耗时，导致基于 QRNN 的 QRL 训练效率低下。本工作提出一种新方法以应对该挑战，即利用基于 QRNN 的储备池构建 QRL 智能体，具体采用量子长短期记忆（QLSTM）。QLSTM 参数随机初始化并固定，无需训练。该模型使用异步优势 actor-critic（A3C）算法进行训练。通过数值模拟，我们验证了 QLSTM-Reservoir RL 框架的有效性。其在标准基准上的性能评估表明，与架构和训练设置完全相同的全训练 QLSTM RL 模型取得了相当的结果。
引用
@article{arxiv.2309.07339,
title = {Efficient quantum recurrent reinforcement learning via quantum reservoir computing},
author = {Samuel Yen-Chi Chen},
journal= {arXiv preprint arXiv:2309.07339},
year = {2023}
}