基于端到端课程强化学习在仿真中抓取旋转乒乓球
机器人学
2025-03-04 v1
摘要
乒乓球以其极高的旋转率而闻名，但当今多数乒乓球机器人难以处理此类高速旋转的球。为此，我们贡献了一系列方法，包括：1. 课程强化学习 (RL)：此方法帮助机器人从简单任务逐步学习到复杂任务；2. 旋转乒乓球碰撞分析：我们进行了基于物理的分析，以生成碰撞后更真实的旋转乒乓球轨迹；3. 轨迹状态定义：轨迹状态的定义有助于设置奖励函数；4. 有效 rally 轨迹选择：我们引入了有效 rally 轨迹选择方案，以确保机器人的训练不受异常轨迹的影响；5. 现实到仿真 (Real2Sim) 迁移：此方案用于验证训练有素的机器人在现实世界情境中处理旋转球的能力。借助 Real2Sim，可进一步降低机器人强化学习的部署成本。此外，基于轨迹状态的奖励函数不仅适用于乒乓球机器人，也可推广到广泛的循环任务中。为验证机器人处理旋转球的能力，我们进行了 Real2Sim 实验。关于该实验的具体视频链接，请参见补充材料。
关键词
引用
@article{arxiv.2503.01251,
title = {Catching Spinning Table Tennis Balls in Simulation with End-to-End Curriculum Reinforcement Learning},
author = {Xiaoyi Hu and Yue Mao and Gang Wang and Qingdu Li and Jianwei Zhang and Yunfeng Ji},
journal= {arXiv preprint arXiv:2503.01251},
year = {2025}
}