基于模型的前瞻强化学习用于手中操作
机器人学
2025-12-15 v2
摘要
手中操作与许多其他灵巧任务一样，通过结合复杂动态系统与使用其执行器控制和操控各种物体的能力，仍然是机器人学中的一个困难挑战。本工作展示了先前开发的混合强化学习（RL）框架在手中操作任务中的应用，验证了其能够提升任务性能。该模型结合了无模型和基于模型的强化学习的概念，通过动态模型和价值函数引导训练策略进行轨迹评估，如模型预测控制中所做的那样。本工作通过与将被引导的策略进行比较来评估模型性能。为全面探索，使用全驱动和欠驱动的仿真机械臂对不同物体进行各种测试以完成给定任务。模型性能还将针对泛化测试进行评估，通过改变策略和动态模型训练所用物体的属性，如密度和尺寸，以及通过引导训练策略在某一物体上执行相同任务但在另一物体上执行。本工作的结果表明，给定具有高平均奖励的策略和准确的动态模型，混合框架在大多数测试用例中提升了手中操作任务的性能，即使物体属性发生了变化。然而，这种提升以增加计算代价为代价，由于轨迹评估的复杂性。
引用
@article{arxiv.2510.08884,
title = {Model-Based Lookahead Reinforcement Learning for in-hand manipulation},
author = {Alexandre Lopes and Catarina Barata and Plinio Moreno},
journal= {arXiv preprint arXiv:2510.08884},
year = {2025}
}