AnyTask：用于推进仿真到真实策略学习的自动化任务与数据生成框架
机器人学
2026-01-21 v2 人工智能
摘要
通用机器人学习仍受数据限制：大规模、多样且高质量的交互数据在真实世界中昂贵难以获取。虽然仿真已成为扩大数据收集的有前景方式，但包括仿真任务设计、任务感知场景生成、专家演示合成以及仿真到真实迁移在内的相关任务仍需大量人工 effort。我们提出 AnyTask，一个自动化框架，将大规模 GPU 仿真与基础模型相结合，用于设计多样化的操作任务并合成机器人数据。我们引入三个 AnyTask 智能体，以解决尽可能多的任务来生成专家演示：1）ViPR，一种具有 VLM-in-the-loop 并行细化(task and motion planning) 的任务与运动规划智能体；2）ViPR-Eureka，一种基于生成稠密奖励和 LLM 指导接触采样的强化学习智能体；3）ViPR-RL，一种混合规划与学习方法，仅需稀疏奖励即可联合生成高质量演示。我们对生成的数据进行行为克隆训练，先在仿真中验证，再直接部署到真实机器人硬件上。所生成的策略对 novel object poses 具有泛化能力，在一套真实世界的 pick-and-place、抽屉开启、接触丰富的推送以及长期程操作任务中实现 44% 的平均成功率。我们的项目网站位于 https://anytask.rai-inst.com。
引用
@article{arxiv.2512.17853,
title = {AnyTask: an Automated Task and Data Generation Framework for Advancing Sim-to-Real Policy Learning},
author = {Ran Gong and Xiaohan Zhang and Jinghuan Shang and Maria Vittoria Minniti and Jigarkumar Patel and Valerio Pepe and Riedana Yan and Ahmet Gundogdu and Ivan Kapelyukh and Ali Abbas and Xiaoqiang Yan and Harsh Patel and Laura Herlant and Karl Schmeckpeper},
journal= {arXiv preprint arXiv:2512.17853},
year = {2026}
}
备注
28 pages, 25 figures. The first four authors contributed equally