“Set It Up”：基于组合生成模型的功能对象布局
摘要
功能对象布局（Functional Object Arrangement，FORM）是指将对象排列以满足特定功能，例如“为两人设置用餐桌”。一个关键挑战在于，FORM的指令常常不完整，未明确指定所需的对象目标姿态。本文提出SetItUp，一个神经符号框架，从少量训练示例和结构化自然语言任务说明中学习指定对象目标姿态。SetItUp使用 grounding graph，即由对象之间抽象空间关系（如 left-of）组成的中间表示，将FORM问题分解为两个阶段：（i）预测对象之间的该图，（ii）基于grounding graph预测对象姿态。对于（i），SetItUp利用大型语言模型（LLM）从任务说明和少量训练示例中诱导出 Python 程序，可在新情景中执行以生成 grounding graph。对于（ii），SetItUp预训练一系列扩散模型以捕捉原始空间关系，并在线组合这些模型以根据grounding graph预测对象姿态。我们在三个不同任务族上评估了SetItUp：将餐具摆放于用餐桌上、整理书架上的物品、布置卧室家具。实验表明，SetItUp 在生成功能、可行且审美观好的对象布局方面优于现有模型。本文是我们于2024年机器人学会议（RSS）上发表的会议论文的扩展版本。
关键词
引用
@article{arxiv.2508.02068,
title = {"Set It Up": Functional Object Arrangement with Compositional Generative Models (Journal Version)},
author = {Yiqing Xu and Jiayuan Mao and Linfeng Li and Yilun Du and Tomas Lozáno-Pérez and Leslie Pack Kaelbling and David Hsu},
journal= {arXiv preprint arXiv:2508.02068},
year = {2025}
}
备注
This is the journal version accepted to the International Journal of Robotics Research (IJRR). It extends our prior work presented at Robotics: Science and Systems (RSS) 2024, with a new compositional program induction pipeline from natural language, and expanded evaluations on personalized bookshelf and bedroom furniture layout tasks