SG-Bot：基于场景图由粗到细机器人想象的对象重排框架
机器人学
2024-03-26 v2 计算机视觉与模式识别
摘要
对象重排在机器人与环境交互中至关重要，是具身 AI 的一项重要能力。本文提出 SG-Bot，一种利用以场景图为场景表示的由粗到细方案的新型重排框架。不同于先前依赖已知目标先验或零样本大模型的方法，SG-Bot 具备轻量、实时与用户可控的特性，将常识知识的考量与自动生成能力无缝融合。SG-Bot 采用观察、想象与执行的三步流程以娴熟应对该任务。首先，在观察阶段从杂乱场景中被辨识并提取对象。这些对象依据常识或用户定义准则首先被粗略组织并描述于场景图中。随后，该场景图指导一生成模型，其结合初始场景的形状信息与对象语义形成细粒度目标场景。最后，在执行阶段匹配初始与构想的目标场景以制定机器人动作策略。实验结果表明 SG-Bot 大幅优于竞争对手。
引用
@article{arxiv.2309.12188,
title = {SG-Bot: Object Rearrangement via Coarse-to-Fine Robotic Imagination on Scene Graphs},
author = {Guangyao Zhai and Xiaoni Cai and Dianye Huang and Yan Di and Fabian Manhardt and Federico Tombari and Nassir Navab and Benjamin Busam},
journal= {arXiv preprint arXiv:2309.12188},
year = {2024}
}
备注
ICRA 2024 accepted. Project website: https://sites.google.com/view/sg-bot