“设置起来！”：基于组合生成模型的功能对象布置
机器人学
2025-05-12 v3 人工智能
摘要
本文研究了开发机器人能够理解非明确指令以创建功能性对象布置的挑战，例如“为两人设立餐桌”；先前的布置方法主要聚焦于更明确的指令，例如“将对象A放在桌子上”。我们引入了一个名为SetItUp的框架，用于学习解释非明确指令。SetItUp在少量训练示例和人工设计的程序草图的帮助下，揭示特定场景类型的布置规则。通过利用对象之间抽象空间关系的中间类图表示，SetItUp将布置问题分解为两个子问题：i）从有限数据中学习布置模式，ii)将这些抽象关系 grounding 到对象姿态。SetItUp利用大语言模型（LLM）提议 novel 场景中对象之间的抽象空间关系作为要满足的约束；然后，它将一组与这些抽象关系相关联的扩散模型组合起来，以找到满足约束的对象姿态。我们在包含学习台、餐桌和咖啡桌的数据集上验证了该框架，结果显示相较于现有模型，SetItUp在生成物理上可行、功能性和审美观好的对象布置方面表现优异。
引用
@article{arxiv.2405.11928,
title = {"Set It Up!": Functional Object Arrangement with Compositional Generative Models},
author = {Yiqing Xu and Jiayuan Mao and Yilun Du and Tomas Lozáno-Pérez and Leslie Pack Kaelbling and David Hsu},
journal= {arXiv preprint arXiv:2405.11928},
year = {2025}
}
备注
10 pages main paper, 21 pages appendix, RSS 2024