通过协作式遥操作学习多臂操作

模仿学习（Imitation Learning, IL）是一种通过让机器人从遥操作收集的人类示范中学习来执行操作任务的强大范式，但大多局限于单臂操作。然而，许多现实任务需要多臂，如抬起重物或组装书桌。不幸的是，将 IL 应用于多臂操作任务一直具挑战性——让人类控制多于一条机械臂会带来显著认知负担，且通常最多只能控制两个机械臂。为应对这些挑战，我们提出 Multi-Arm RoboTurk（MART），一种多用户数据收集平台，允许多个远程用户同时遥操作一组机械臂并为多臂任务收集示范。利用 MART，我们从若干地理分布的用户处收集了五种新颖的双臂与三臂任务示范。从数据中我们得出关键洞见：多数多臂任务并非全程需要全局协调，而仅在特定时刻需要。我们表明，从此类数据学习因而对直接尝试同时建模所有机器人动作的集中式智能体提出挑战，并对不同集中程度的策略架构在我们的任务上做了全面研究。最后，我们提出并评估一种基-残差（base-residual）策略框架，使训练后策略更好适应多臂操作中常见的混合协调设定，并表明辅以分散式残差模型的集中式策略在我们的基准任务集上优于所有其他模型。更多结果与视频见 https://roboturk.stanford.edu/multiarm 。