串联弹性执行器力控制的实时无模型深度强化学习
机器学习
2025-07-30 v1 机器人学
系统与控制
系统与控制
摘要
许多最先进的机器人应用利用具有闭环力控制的串联弹性执行器（SEA）来完成行走、举升和操作等复杂任务。由于 SEA 中的非线性，无模型 PID 控制方法更容易不稳定，而级联的基于模型的鲁棒控制器可消除这些影响以实现稳定的力控制。然而，这些基于模型的方法需要详细研究以准确表征系统。深度强化学习（DRL）已被证明是一种有效的连续控制任务无模型方法，但极少有研究涉及硬件上的学习。本文描述了在 SEA 摆系统硬件上训练 DRL 策略的过程，该策略使用近端策略优化（PPO）算法跟踪振幅 50 N、频率 0.05–0.35 Hz 的力控制轨迹。我们开发并利用了安全机制，在全部 21 小时训练周期中无人值守的情况下训练策略 12 小时（过夜）。跟踪性能评估显示，对于振幅 50 N、0.1 Hz 正弦期望力轨迹，将训练前 18 分钟与完整 21 小时相比，平均绝对误差改善了 N。最后，与无模型 PID 控制器相比，该 DRL 策略在振幅 50 N 的扫频力轨迹上表现出更好的跟踪和稳定性裕度。
引用
@article{arxiv.2304.04911,
title = {Real-Time Model-Free Deep Reinforcement Learning for Force Control of a Series Elastic Actuator},
author = {Ruturaj Sambhus and Aydin Gokce and Stephen Welch and Connor W. Herron and Alexander Leonessa},
journal= {arXiv preprint arXiv:2304.04911},
year = {2025}
}
备注
8 pages, 5 figures, submitted to IROS 2023