Articraft:用于可扩展关节 3D 资产生成的智能体系统
计算机视觉与模式识别
2026-05-15 v1 图形学
机器人学
摘要
学习理解关节 3D 对象的一个瓶颈是缺乏大规模且多样化的数据集。本文提出利用大型语言模型(LLM)来弥合这一差距,并大规模生成关节资产。我们将生成关节 3D 资产的问题归约为编写构建该资产的程序的任务。随后,我们引入了新的智能体系统,Articraft,用于自动编写此类程序。我们设计了程序化接口和框架,以帮助 LLM 有效实现。LLM 在用于定义部件、构成几何、指定关节以及编写验证所生成资产的测试方面编写代码。该框架暴露受限的工作空间和接口给 LLM,验证所生成的资产,并返回结构化反馈。如此一来,LLM 无需关注诸如编写 URDF 文件或管理复杂软件环境等细节。我们展示了这会产生高质量的资产,优于现有的关节资产生成器以及通用编程智能体。通过 Articraft,我们构建了 Articraft-10K,一个覆盖 245 个类别的精选数据集,包含超过 1 万个关节资产,并展示了其在训练关节资产模型以及下游应用(如机器人仿真和虚拟现实)中的实用性。
引用
@article{arxiv.2605.15187,
title = {Articraft: An Agentic System for Scalable Articulated 3D Asset Generation},
author = {Matt Zhou and Ruining Li and Xiaoyang Lyu and Zhaomou Song and Zhening Huang and Chuanxia Zheng and Christian Rupprecht and Andrea Vedaldi and Shangzhe Wu},
journal= {arXiv preprint arXiv:2605.15187},
year = {2026}
}
备注
Project page: https://articraft3d.github.io/