用于引导机器人探索的视觉可供性预测

受人类对所可能交互空间的直观理解，以及将其轻松泛化至未见场景的能力所启发，我们开发了一种用于学习视觉可供性以引导机器人探索的方法。给定一张场景输入图像，我们推断通过与之交互可实现的合理未来状态分布。我们使用基于 Transformer 的模型在 VQ-VAE 的潜在嵌入空间中学习条件分布，并表明这些模型可利用大规模且多样的被动数据进行训练，且所学模型对训练分布之外的多样物体表现出组合泛化能力。我们展示了在机器人操作中的视觉目标条件策略学习期间，训练好的可供性模型如何通过充当目标采样分布来引导探索。