机器人扩散变换器的关键构件
机器人学
2024-10-15 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
近年来，机器人学家通过利用高容量变换器网络架构和生成式扩散模型，取得了在灵活机器人硬件上解决日益通用的任务的显著进展。然而，这两种正交改进的组合方法仍然困难重重，因为缺乏清晰且被充分理解的流程来做出重要设计选择。本文我们识别、研究并改进了用于高容量扩散变换器策略的关键架构设计决策。所得模型能够在无需为每个 setup 进行痛苦的 per-setup 超参数调优的情况下，高效解决多个机器人 embodiment 上的多样化任务。通过将我们的调查结果与改进模型组件相结合，我们能够提出一种新型架构，命名为 \method，显著优于解决 1500+ 时间步长灵活任务的现有技术，具体表现为在双手 ALOHA 机器人上的表现。此外，我们发现我们的策略在训练 10 小时高度多模态、语言注释 ALOHA 演示数据时表现出改进的扩展性能。我们希望本工作将为未来的机器人学习技术开辟道路，后者利用生成式建模的效率与大规模变换器架构的可扩展性相结合。代码、机器人数据集和视频均可在 https://dit-policy.github.io 获取。
引用
@article{arxiv.2410.10088,
title = {The Ingredients for Robotic Diffusion Transformers},
author = {Sudeep Dasari and Oier Mees and Sebastian Zhao and Mohan Kumar Srirama and Sergey Levine},
journal= {arXiv preprint arXiv:2410.10088},
year = {2024}
}