用于光束线自主对齐的动作注意力深度强化学习

同步辐射光源在材料科学、生物学和化学等领域发挥着至关重要的作用。光束线是同步加速器的关键子系统，负责调制并将辐射引导至样品进行分析。然而，光束线的对齐是一个复杂且耗时的过程，主要由经验丰富的工程师手动完成。光学元件中即使是微小的错位也会显著影响光束的特性，导致实验结果不理想。当前的自动化方法，如贝叶斯优化 (BO) 和强化学习 (RL)，尽管这些方法提高了性能，但仍然存在局限性。没有充分考虑当前和目标光束特性之间的关系，而这对于确定调整至关重要。此外，忽略了光学元件的物理特性，例如需要调整特定设备以控制输出光束的光斑大小或位置。本文通过将光束线对齐建模为马尔可夫决策过程 (MDP) 并使用 RL 训练智能体来解决其对齐问题。智能体根据当前和目标光束状态计算调整值，执行动作并迭代直到达到最佳参数。设计了一种带有动作注意力的策略网络，通过同时考虑状态差异和光学组件的影响来改善决策。在两个模拟光束线上的实验表明，我们的算法优于现有方法，消融研究突出了基于动作注意力的策略网络的有效性。