“整理桌面”：为桌面物体重排奠定常识性目标基础
机器人学
2023-09-19 v2 人工智能
摘要
整理杂乱桌面对人类看似简单，但由于常识推理的模糊性，阐明整洁的清晰标准具有挑战性。大语言模型（LLMs）已证明能捕捉常识知识以推理这一模糊的整洁概念。然而，由于对整洁的空间-视觉方面掌握有限，它们单独处理桌面整理可能吃力。本工作中，我们旨在物体摆放语境下奠定整洁的常识概念基础。我们的调查显示，人类通常将整洁分解为语义整洁与视觉-空间整洁；我们的奠基方法与此分解一致。我们将基于语言的策略生成器与基于图像的整洁评分函数相连接：策略生成器利用LLM的常识知识按物体的隐式类型与功能聚类以实现语义整洁；同时，整洁评分函数评估物体的视觉-空间关系以实现视觉-空间整洁。我们的整洁评分使用由定制随机游走廉价生成的合成数据训练，其内在编码了整洁次序，从而避开繁重的人工示范需求。模拟实验表明，我们的方法成功生成整洁摆放，主要在2D中，并具有3D堆叠潜力，适用于含各种新颖物体的桌面。
引用
@article{arxiv.2307.11319,
title = {"Tidy Up the Table": Grounding Common-sense Objective for Tabletop Object Rearrangement},
author = {Yiqing Xu and David Hsu},
journal= {arXiv preprint arXiv:2307.11319},
year = {2023}
}
备注
RSSLRL2023 Workshop, Under review for conference