无模型与贝叶斯集成基于模型的深度强化学习在 FERMI FEL 粒子加速器控制中的应用
机器学习
2022-01-27 v2 人工智能
系统与控制
系统与控制
加速器物理
摘要
强化学习在加速器控制中极具前景。本文的主要目标是展示该方法如何在操作层面上用于加速器物理问题。尽管无模型强化学习在多个领域取得成功，但其样本效率仍是一个瓶颈，而基于模型的方法或可克服此问题。我们将适用于该问题的纯基于模型的无模型强化学习进行比较，应用于 FERMI FEL 系统的强度优化。我们发现基于模型的方法表现出更高的表征能力与样本效率，而无模型方法的渐近性能略优。基于模型的算法以 DYNA 风格实现，使用不确定性感知模型；无模型算法基于定制深度 Q-learning。两种情况下，算法的实现方式均增强了对加速器控制问题中普遍存在的噪声的鲁棒性。代码发布于 https://github.com/MathPhysSim/FERMI_RL_Paper。
引用
@article{arxiv.2012.09737,
title = {Model-free and Bayesian Ensembling Model-based Deep Reinforcement Learning for Particle Accelerator Control Demonstrated on the FERMI FEL},
author = {Simon Hirlaender and Niky Bruchon},
journal= {arXiv preprint arXiv:2012.09737},
year = {2022}
}
备注
13 pages, 17 figures - minor changes and adaption to physical review journals