DALL-E-Bot：将 Web 规模扩散模型引入机器人学
机器人学
2023-05-05 v3 计算机视觉与模式识别
机器学习
摘要
我们提出首项探索 web 规模扩散模型用于机器人学的工作。DALL-E-Bot 使机器人能通过先推断场景中物体的文本描述，再生成表示这些物体自然、类人排布的图像，最后依该目标图像物理排布物体，来重排场景中的物体。我们展示使用 DALL-E 可零样本实现此过程，无需任何进一步排布示例、数据收集或训练。得益于 DALL-E 的 web 规模预训练，DALL-E-Bot 全自主且不限于预定义物体集或场景。结合人类研究与客观指标的鼓舞人心真实世界结果表明，将 web 规模扩散模型整合进机器人学流水线是可扩展、无监督机器人学习的有前途方向。
引用
@article{arxiv.2210.02438,
title = {DALL-E-Bot: Introducing Web-Scale Diffusion Models to Robotics},
author = {Ivan Kapelyukh and Vitalis Vosylius and Edward Johns},
journal= {arXiv preprint arXiv:2210.02438},
year = {2023}
}
备注
Webpage and videos: ( https://www.robot-learning.uk/dall-e-bot ) Published in IEEE Robotics and Automation Letters (RA-L)