基于安全强化学习的振动控制：通过 LQR 指导克服训练风险
机器学习
2025-10-03 v1 系统与控制
系统与控制
机器学习
摘要
外部激励引起的结构振动带来重大风险，包括对人员的安全隐患、结构损坏和维护成本增加。虽然传统的基于模型的控制策略（如线性二次型调节器 LQR）能有效抑制振动，但其依赖精确系统模型需要繁琐的系统辨识。这个繁琐的系统辨识过程可以通过使用无模型的强化学习（RL）方法来避免。RL 控制器仅从观测到的结构行为中推导其策略，消除了对显式结构模型的需求。要使 RL 控制器真正无模型，其训练必须在实际物理系统上进行而非在模拟中。然而，在训练阶段，RL 控制器缺乏先验知识，随机地对结构施加控制力，这可能损害结构。为了降低此风险，我们提出使用线性二次型调节器（LQR）控制器来指导 RL 控制器。虽然 LQR 控制通常依赖精确的结构模型才能获得最佳性能，但我们的观察表明，即使基于完全错误模型的 LQR 控制器也优于无控制场景。受此发现启发，我们引入了一个混合控制框架，整合 LQR 和 RL 控制器。在这种方法中，LQR 策略从随机选择的模型及其参数中导出。由于该 LQR 策略不需要真实或近似结构模型的知识，整个框架保持无模型。这种混合方法消除了对显式系统模型的依赖，同时最小化了朴素 RL 实现中固有的探索风险。据我们所知，这是第一项解决基于 RL 的振动控制训练安全挑战并提供验证解决方案的研究。
引用
@article{arxiv.2510.01269,
title = {Safe Reinforcement Learning-Based Vibration Control: Overcoming Training Risks with LQR Guidance},
author = {Rohan Vitthal Thorat and Juhi Singh and Rajdip Nayek},
journal= {arXiv preprint arXiv:2510.01269},
year = {2025}
}
备注
Paper accepted for presentation at ICCMS 2025. The submission includes 10 pages and 6 figures