现实强化学习中问题表述的关键作用
系统与控制
2025-03-27 v1 机器学习
系统与控制
摘要
强化学习 (RL) 为工业网络-物理系统 (ICPS) 中的控制任务提供了有前景的解决方案，但其在现实中的应用仍有限。本文展示了看似微小但经过精心设计的 RL 问题表述修改如何显著提升性能、稳定性和样本效率。我们识别并研究了 RL 问题表述的关键要素，表明这些要素既能加快学习速度，又能提高最终策略质量。我们的实验采用一个自由度 (1-DoF) 的直升机测试平台，即 Quanser Aero~2，其特征为代表许多工业环境的非线性动力学。在仿真中，提出的问题设计原则yield更可靠、更高效的训练，我们进一步通过在物理硬件上训练智能体来验证这些结果。鼓舞人心的现实结果凸显了 RL 在 ICPS 中的潜力，尤其是当对问题表述的设计原则给予足够关注时。总体而言，本研究强调了在将 RL 研究与现实工业系统需求相媳合的过程中，对问题表述的深思熟虑在起着关键作用。
引用
@article{arxiv.2503.20442,
title = {The Crucial Role of Problem Formulation in Real-World Reinforcement Learning},
author = {Georg Schäfer and Tatjana Krau and Jakob Rehrl and Stefan Huber and Simon Hirlaender},
journal= {arXiv preprint arXiv:2503.20442},
year = {2025}
}
备注
Accepted at ICPS 2025