超越PID控制器：用于Mu2e质子束强度控制的神经化PID策略的PPO
机器学习
2024-01-01 v1 人工智能
加速器物理
摘要
我们介绍了一种新颖的近端策略优化（PPO）算法，旨在解决费米国家加速器实验室（Fermilab）的μ子到电子转换实验（Mu2e）中维持均匀质子束强度传输的挑战。我们的主要目标是调节引出过程以确保一致的强度分布，最终目标是创建一个能够在毫秒时间尺度上提供实时反馈和校准引出调节系统（SRS）参数的自动控制器。我们将Mu2e加速器系统视为适合强化学习（RL）的马尔可夫决策过程，利用PPO来减少偏差并提高训练稳定性。我们方法的一个关键创新是将神经化比例-积分-微分（PID）控制器集成到策略函数中，导致引出占空因子（SDF）显著提高13.6%，比当前PID控制器基线额外提高了1.6%。本文基于Mu2e加速器的可微模拟器展示了初步的离线结果。它为实时实现和应用奠定了基础，代表了朝着Mu2e实验自动质子束强度控制迈出的关键一步。
引用
@article{arxiv.2312.17372,
title = {Beyond PID Controllers: PPO with Neuralized PID Policy for Proton Beam Intensity Control in Mu2e},
author = {Chenwei Xu and Jerry Yao-Chieh Hu and Aakaash Narayanan and Mattson Thieme and Vladimir Nagaslaev and Mark Austin and Jeremy Arnold and Jose Berlioz and Pierrick Hanlet and Aisha Ibrahim and Dennis Nicklaus and Jovan Mitrevski and Jason Michael St. John and Gauri Pradhan and Andrea Saewert and Kiyomi Seiya and Brian Schupbach and Randy Thurman-Keup and Nhan Tran and Rui Shi and Seda Ogrenci and Alexis Maya-Isabelle Shuping and Kyle Hazelwood and Han Liu},
journal= {arXiv preprint arXiv:2312.17372},
year = {2024}
}
备注
10 pages, accepted at NeurIPS 2023 ML4Phy Workshop