行为Transformer：一石克隆$k$种模式

尽管行为学习近期取得了令人印象深刻的进展，但由于无法利用大规模人工生成的数据集，其仍落后于计算机视觉与自然语言处理。人类行为具有高度方差、多模态，且人类演示通常不带奖励标签。这些特性限制了当前离线强化学习（Offline RL）与行为克隆方法从大规模预收集数据集中学习的能力。在本工作中，我们提出行为Transformer（BeT），一种对带多模态的未标注演示数据进行建模的新技术。BeT将标准Transformer架构改造为动作离散化，并结合受目标检测中偏移预测启发的多任务动作校正。这使我们能利用现代Transformer的多模态建模能力来预测多模态连续动作。我们在多种机器人操控与自动驾驶行为数据集上实验评估了BeT。我们表明，BeT在解决演示任务上显著优于先前最先进工作，同时捕捉了预收集数据集中存在的主要模式。最后，通过广泛的消融研究，我们分析了BeT中每个关键组件的重要性。BeT生成的行为视频可在 https://notmahi.github.io/bet 查看。