基于场景上下文的个性化机器人物体重排

物体重排是家庭机器人需要完成的关键任务，要求在无需明确指令的情况下实现个性化，能够在有物体占据的环境中进行有意义的物体放置，并对未见的物体和新环境进行泛化。为促进解决这些挑战的研究，我们引入PARSEC——一个从观察到的场景上下文中学习用户组织偏好，并将物体放置在部分已排列环境中的对象重排基准。PARSEC基于 novel crowdsourced数据集构建，包含来自72名用户的11万个重排示例，涵盖93类物体和15种环境。为更贴合实际世界的组织习惯，我们提出ContextSortLM——一种基于大语言模型（LLM）的个性化重排模型，通过显式处理在部分已排列环境中具有多个有效放置位置的物体，来处理灵活的用户偏好。我们在PARSEC基准上评估了ContextSortLM和现有的个性化重排方法，并通过对108名线上评审进行众包评估，依据用户偏好对模型预测进行排序。我们的结果表明，利用多个场景上下文源的个性化重排模型优于仅依赖单一上下文源的模型。此外，ContextSortLM在复制目标用户排列方式方面优于其他模型，在所有三个环境类别中均位列前两名，均获线上评审高度认可。重要的是，我们的评估揭示了在不同环境类别中建模环境语义方面的挑战，并为未来工作提供了建议。