Prompt2Craft：利用 LLM 生成功能性手工装配
计算机视觉与模式识别
2025-12-05 v1
摘要
受传统手工制作的启发，人们根据现有物体即兴进行装配，我们正式提出了手工装配任务。这是一项机器人装配任务，涉及使用现有物体构建目标物体的准确表示，而这些物体并不直接对应其部件。在本工作中，我们关注当输入为目标物体在野外的 RGB 图像时，如何为最终手工制品选择可用物体的子集。我们使用掩码分割神经网络识别可见部件，随后检索带标签的模板网格。这些网格经过姿态优化以确定最合适的模板。然后，我们提出将变换后的模板网格的部件简化为长方体或圆柱体等基本形状。最后，我们设计了一种基于局部和全局比例的搜索算法，以在场景中找到对应关系。我们开发了考虑所有可能组合的基线，并选择前景图和掩码准确率常用指标下得分最高的组合。我们的方法在两个不同场景下取得了与基线相当的结果，并展示了在真实场景中的实现的定性结果。
引用
@article{arxiv.2512.04568,
title = {Prompt2Craft: Generating Functional Craft Assemblies with LLMs},
author = {Vitor Hideyo Isume and Takuya Kiyokawa and Natsuki Yamanobe and Yukiyasu Domae and Weiwei Wan and Kensuke Harada},
journal= {arXiv preprint arXiv:2512.04568},
year = {2025}
}