面向机器人任务的大规模并行多任务强化学习基准测试
机器人学
2025-08-04 v2
摘要
多任务强化学习 (MTRL) 已成为将强化学习 (RL) 应用于一系列复杂现实世界机器人任务的关键训练范式，这要求策略具备泛化能力和鲁棒性。同时，大规模并行训练日益普及，它不仅通过 GPU 加速仿真显著加快了数据收集速度，还通过并行仿真异构场景实现了跨多任务的多样化数据收集。然而，现有的 MTRL 研究主要局限于低并行度环境下的 SAC 等离策略方法。MTRL 可以利用同策略算法更高的渐近性能——其批次需要来自当前策略的数据——从而利用 GPU 加速仿真提供的大规模并行化优势。为弥补这一差距，我们引入了面向机器人的大规模并行多任务基准测试 (MTBench)，这是一个开源基准测试，包含使用 GPU 加速仿真器 IsaacGym 实现的 50 种操作任务和 20 种运动任务的广泛分布。MTBench 还包含四种基础 RL 算法与七种最先进的 MTRL 算法和架构，为评估其性能提供了统一框架。我们的大量实验突出了使用 MTBench 评估 MTRL 方法的卓越速度，同时也揭示了大规模并行化与 MTRL 结合所产生的独特挑战。代码可在 https://github.com/Viraj-Joshi/MTBench 获取
引用
@article{arxiv.2507.23172,
title = {Benchmarking Massively Parallelized Multi-Task Reinforcement Learning for Robotics Tasks},
author = {Viraj Joshi and Zifan Xu and Bo Liu and Peter Stone and Amy Zhang},
journal= {arXiv preprint arXiv:2507.23172},
year = {2025}
}
备注
RLC 2025