BLAZER：基于零样态数据生成的 LLM 驱动操作代理引导
机器人学
2025-10-10 v1 人工智能
机器学习
摘要
规模化数据和模型一直是计算机视觉和语言领域取得巨大进展的关键因素。受这些领域的启发，近期的机器人研究也致力于规模化数据和模型大小，以开发更通用和稳健的策略。然而，与视觉和语言不同，机器人领域缺乏跨多样化机器人任务和环境的互联网规模演示。因此，现有数据集通常受制于需要手动收集和策源。为此，本文提出BLAZER框架，从自动生成的训练数据中学习操作策略。我们基于 LLM 规划器的零样态能力，自动生成仿真环境中多样化操作任务的演示。成功的示例随后用于微调 LLM，以提升其规划能力，无需人工监督。值得注意的是，尽管 BLAZER 训练需要访问仿真器的状态，但我们展示了所学技能可直接迁移到基于传感器的操作。通过大量实验，我们表明 BLAZER 在仿真和真实环境中均能显著提升零样态操作。此外，BLAZER 还能解决训练池之外的任务，并实现 LLM 模型的降级。我们的代码和数据将在项目页面公开。
引用
@article{arxiv.2510.08572,
title = {BLAZER: Bootstrapping LLM-based Manipulation Agents with Zero-Shot Data Generation},
author = {Rocktim Jyoti Das and Harsh Singh and Diana Turmakhan and Muhammad Abdullah Sohail and Mingfei Han and Preslav Nakov and Fabio Pizzati and Ivan Laptev},
journal= {arXiv preprint arXiv:2510.08572},
year = {2025}
}
备注
11 pages, 8 figures