基于深度强化学习的非线性实时运动定向算法
系统与控制
2025-04-04 v3 机器人学
系统与控制
摘要
在运动仿真中，运动定向算法用于运动平台的轨迹规划，其中工作空间限制阻碍对参考轨迹的直接再现。诸如运动洗垫（motion washout）等策略至关重要，这些策略会将平台返回其中心。在具有高度非线性工作空间的串联机器人运动平台（MSP）中，充分利用平台的运动学和动力学能力是必需的。传统方法，包括经典洗垫滤波和线性模型预测控制，未能考虑平台特定的非线性属性；而非线性模型预测控制虽然较为全面，但计算需求高，阻碍无进一步简化的实时、驾驶员在环应用。为克服这些限制，我们引入了一种新方法，利用深度强化学习进行运动定向。本文首次在具有6自由度的设置中实现该方法，并充分考虑了MSP的运动学非线性。作者先前的工作成功演示了将DRL应用于简化的2自由度 setup 的案例，该 setup 不考虑运动学或动力学约束。该方法已扩展至所有6自由度，通过在算法中纳入MSP的完整运动学模型实现，其是使其能够应用于实际运动平台的关键步骤。DRL-MCA的训练基于在演员-评论员实现中结合自动化超参数优化的近端策略优化（Proximal Policy Optimization）。在详述必要的训练框架和算法本身之后，我们提供了全面的验证，表明DRL MCA在已建立的算法面前实现了竞争性的性能。而且，它生成的轨迹符合所有系统约束，满足所有实时要求，...
引用
@article{arxiv.2503.10419,
title = {A nonlinear real time capable motion cueing algorithm based on deep reinforcement learning},
author = {Hendrik Scheidel and Camilo Gonzalez and Houshyar Asadi and Tobias Bellmann and Andreas Seefried and Shady Mohamed and Saeid Nahavandi},
journal= {arXiv preprint arXiv:2503.10419},
year = {2025}
}