基于含噪声动作的无模型强化学习实现光学实验自动控制
机器学习
2025-08-19 v3 光学
摘要
搭建和控制光学系统通常是一项具有挑战性且繁琐的任务。需要控制反射镜、透镜或光相位的大量自由度使得自动控制变得困难，尤其是当系统复杂性因噪声或非线性而无法被充分建模时。在此，我们展示了强化学习（RL）能够克服这些挑战，通过一种无模型的RL方法，直接在实验上进行训练而无需在仿真中预训练，将激光耦合到光纤中。利用样本高效的算法Soft Actor-Critic (SAC)、Truncated Quantile Critics (TQC)或CrossQ，我们的智能体能够以90%的效率实现耦合。人类专家可以达到这一效率，但RL智能体速度更快。特别是，CrossQ智能体在耦合速度上优于其他智能体，同时仅需一半的训练时间。我们证明了直接在实验上进行训练可以替代广泛的系统建模。我们的结果展示了RL在处理光学问题上的潜力，为更复杂的、无法进行完整噪声建模的应用铺平了道路。
引用
@article{arxiv.2405.15421,
title = {Model-free reinforcement learning with noisy actions for automated experimental control in optics},
author = {Lea Richtmann and Viktoria-S. Schmiesing and Dennis Wilken and Jan Heine and Aaron Tranter and Avishek Anand and Tobias J. Osborne and Michèle Heurs},
journal= {arXiv preprint arXiv:2405.15421},
year = {2025}
}
备注
10 pages + 12 pages appendices, 2 + 12 figures