想象一下！利用涌现可供性进行三维工具合成

在本文中，我们探索了基于视觉的生成模型潜空间所捕获信息的丰富性。该模型将无监督生成学习与基于任务的性能预测器相结合，以在涉及场景和棒状工具的抓取任务中，根据视觉观测学习并利用与任务相关的物体可供性。虽然生成模型的所学嵌入捕获了三维工具几何（例如长度、宽度和形状）的变化因素，但性能预测器识别了嵌入中与任务成功相关的子流形。在多种场景中，我们展示了通过性能预测器的反向传播遍历潜空间，使我们能够想象出适合当前任务的工具。我们的结果表明，类似可供性（例如用于抓取的效用）沿潜空间中的平滑轨迹编码。仅通过考虑高层性能准则（如任务成功）来访问这些涌现可供性，使智能体能够以有针对性且审慎的方式操控工具几何。