丰富状态观察力量让强化学习超越PID：无人机球平衡研究
机器人学
2025-09-26 v1
摘要
本文解决无人机球平衡问题，即无人机通过基于电缆的交互方式在可移动梁上稳定球的位置。我们提出一种分层控制框架，将高层平衡策略与低层无人机控制解耦，训练强化学习（RL）策略处理高层决策。仿真结果表明，RL策略在相同分层结构下的性能优于经过精心调谐的PID控制器。通过系统性比较分析，我们证明RL的优势不源于改进的参数调谐或固有的非线性映射能力，而是源于其有效利用更丰富的状态观察。这些发现凸显了综合状态表示在基于学习系统中的关键作用，表明增强感知可能对改进控制器性能至关重要。
引用
@article{arxiv.2509.21122,
title = {Rich State Observations Empower Reinforcement Learning to Surpass PID: A Drone Ball Balancing Study},
author = {Mingjiang Liu and Hailong Huang},
journal= {arXiv preprint arXiv:2509.21122},
year = {2025}
}
备注
Accepted for presentation at the Advancements in Aerial Physical Interaction Workshop of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2025