大规模深度强化学习：使用移动机械臂集群在办公建筑中分拣废弃物
机器人学
2023-05-08 v1
摘要
我们描述了一个将机器人操作技能的深度学习强化学习应用于大规模现实世界任务的系统：在办公建筑中分拣可回收物与垃圾。深度强化学习策略的现实部署不仅需要有效的训练算法，还需要能够引导现实世界训练并实现广泛泛化的能力。为此，我们的系统将基于现实世界数据的可扩展深度强化学习与来自仿真训练的引导相结合，并引入现有计算机视觉系统的辅助输入以提升对新物体的泛化能力，同时保留端到端训练的优势。我们分析了系统中不同设计决策的权衡，并给出了大规模实证验证，包括在为期24个月的实验中收集的现实世界数据上训练，涉及三栋办公建筑中23台机器人的集群，训练集总计9527小时的机器人经验。我们的最终验证还包括跨240个废弃物站配置的4800次评估试验，以详细评估系统设计决策的影响、纳入更多现实世界数据的规模效应，以及该方法在新物体上的性能。项目网站与视频可在 \href{http://rl-at-scale.github.io}{rl-at-scale.github.io} 找到。
引用
@article{arxiv.2305.03270,
title = {Deep RL at Scale: Sorting Waste in Office Buildings with a Fleet of Mobile Manipulators},
author = {Alexander Herzog and Kanishka Rao and Karol Hausman and Yao Lu and Paul Wohlhart and Mengyuan Yan and Jessica Lin and Montserrat Gonzalez Arenas and Ted Xiao and Daniel Kappler and Daniel Ho and Jarek Rettinghouse and Yevgen Chebotar and Kuang-Huei Lee and Keerthana Gopalakrishnan and Ryan Julian and Adrian Li and Chuyuan Kelly Fu and Bob Wei and Sangeetha Ramesh and Khem Holden and Kim Kleiven and David Rendleman and Sean Kirmani and Jeff Bingham and Jon Weisz and Ying Xu and Wenlong Lu and Matthew Bennice and Cody Fong and David Do and Jessica Lam and Yunfei Bai and Benjie Holson and Michael Quinlan and Noah Brown and Mrinal Kalakrishnan and Julian Ibarz and Peter Pastor and Sergey Levine},
journal= {arXiv preprint arXiv:2305.03270},
year = {2023}
}
备注
Published at Robotics: Science and Systems 2023