基于深度强化学习的核微型堆控制
系统与控制
2025-04-02 v1 机器学习
系统与控制
机器学习
摘要
核微型堆的经济可行性将取决于通过在自动化控制方面取得进展来最小化运行成本，尤其是在这些微型堆与其他能源系统（如可再生能源）同时运行时。本研究探索了深度强化学习（RL）用于微型堆实时鼓风控制的应用，分析其在负荷跟随情景下的性能。通过利用带有热和锂霁反馈的点 kinetics 模型，我们首先使用单输出 RL 智能体建立基准，然后将其与传统比例-积分-微分（PID）控制器进行比较。本研究表明，RL 控制器（包括单智能体和多智能体 RL（MARL）框架）可以在各种负荷跟随情景下实现与传统 PID 控制相当甚至更好的性能。在短暂变更中，RL 智能体能够比 PID 降低跟踪误差率。在持续 300 分钟的负荷跟随情景中（锂震反馈成为主导因素），PID 保持更好的准确性，但 RL 仍在 1% 误差范围内，尽管仅在短时段情景下进行训练。这凸显了 RL 在推广到更长、更复杂变更方面的强大泛化和外推能力，为大幅度减少训练成本和降低过拟合提供了可能。此外，当控制扩展到多个鼓风时，MARL 能够实现独立的鼓风控制，同时维持堆堆对称性约束而不牺牲性能——这一目标标准的单智能体 RL 无法实现。我们还发现，随着对功率测量添加越来越多的高斯噪声，RL 控制器能够比 PID 维持更低的误差率，并且以更少的控制 effort 实现。
引用
@article{arxiv.2504.00156,
title = {Nuclear Microreactor Control with Deep Reinforcement Learning},
author = {Leo Tunkle and Kamal Abdulraheem and Linyu Lin and Majdi I. Radaideh},
journal= {arXiv preprint arXiv:2504.00156},
year = {2025}
}
备注
28 pages, 11 figures, 2 tables