基于收敛强化学习的多自由度连续量子系统控制
量子物理
2022-12-22 v1 机器学习
摘要
随着实验量子技术的发展，可控人造量子系统的实现使量子控制受到了越来越多的关注。然而，由于量子力学系统通常难以解析处理，因此采用了寻找适当控制协议的启发式策略和数值算法，而深度学习，尤其是深度强化学习 (RL)，是控制问题的一个有前景的通用候选解决方案。尽管深度 RL 在量子控制问题上已有一些成功应用，但现有的大多数 RL 算法存在不稳定性和再现性不佳的问题，并且需要大量的微调和庞大的计算预算，这两者都限制了其适用性。为了解决不稳定性问题，在本学位论文中，我们研究了 Q-learning 的不收敛问题。然后，我们研究了已提出的现有收敛方法的弱点，并开发了一种新的收敛 Q-learning 算法，我们称之为收敛深度 Q 网络 (C-DQN) 算法，作为传统深度 Q 网络 (DQN) 算法的替代。我们证明了 C-DQN 的收敛性并将其应用于 Atari 2600 基准测试。我们表明，当 DQN 失败时，C-DQN 仍能成功学习。然后，我们将该算法应用于量子四次振荡器和受陷量子刚体的测量反馈冷却问题。我们建立了物理模型并分析了其性质，结果表明尽管 C-DQN 和 DQN 都能学会冷却这些系统，但 C-DQN 表现得更稳定，并且当 DQN 遭遇不稳定性时，C-DQN 能取得更好的性能。由于 DQN 的性能可能存在较大方差且缺乏一致性，因此 C-DQN 可以作为复杂控制问题研究的更好选择。
引用
@article{arxiv.2212.10705,
title = {Control of Continuous Quantum Systems with Many Degrees of Freedom based on Convergent Reinforcement Learning},
author = {Zhikang Wang},
journal= {arXiv preprint arXiv:2212.10705},
year = {2022}
}
备注
PhD Dissertation submitted to the Department of Physics, University of Tokyo