基于 LLM 的家庭Rearrangement中的场景图学习

家庭Rearrangement任务涉及识别场景中错位的物体并将其安置在合适的位置。该任务既取决于客观侧的常识知识，也取决于主观侧的用户偏好。在实现此任务时，我们提出直接从场景中开发物体功能与用户偏好对齐的方式，而无需依赖人类介入。为此，我们采用场景图表示方法，提出LLM增强的场景图学习，将输入场景图转换为带有信息增强节点和新发现边缘(关系)的可 affordance 增强图(AEG)。在AEG中，对应于容器对象的节点被augmented with情境诱导的 affordance，这编码了可以放置在其上的哪些可携带物体。发现新的边缘，即新的非局部关系。借助AEG，我们通过检测错位的可携带物体并确定每个的合适放置位置来进行场景Rearrangement的任务规划。我们通过实现一个扫地机器人来测试该方法，并在我们构建的新基准上进行评估。广泛的评估表明，我们的方法在错位检测以及随后的Rearrangement规划方面实现了最新进展的性能。