激发想象力：通用“某某某放置”能力的实现

通用目标放置是智能通用机器人的基本能力：能够在新环境中按照精确的人类指令对物体进行重新排列。本工作致力于实现具备“something something”指令的通用目标放置能力。具体而言，我们将整个过程分为三个部分：目标定位、目标想象与机器人控制，提出了名为 SPORT 的方法。SPORT 利用预训练的大型视觉模型进行广泛的语义推理，并学习一个基于扩散模型的姿态估计器，以确保 3D 空间中的物理实现结果。只有物体类型(可移动或参考)在这两个部分之间通信，这带来了两个好处：其一是我们可以完全利用开放集物体识别和定位的强大能力，因为无需针对机器人场景进行特定微调。其二是，扩散模型估计器只需在放置后“想象”物体姿态，而无需其语义信息。因此，训练负担大大减少，无需大规模训练。目标姿态估计的训练数据是在仿真环境中收集的，并使用 GPT-4 进行标注。实验结果表明，我们的方法有效。SPORT 不仅能够为未见的仿真物体生成有前景的 3D 目标姿态，而且能无缝应用于真实场景。