利用因果 InfoGAN 学习可规划表示

近年来，深度生成模型已被证明能够直接从原始数据学习‘想象’出令人信服的高维观测，如图像、音频甚至视频。在本工作中，我们探讨如何想象目标导向的视觉规划——即一组使动态系统从当前配置过渡到期望目标状态的合理观测序列，该序列后续可用作控制的参考轨迹。我们关注具有图像等高维观测的系统，并提出一种自然结合表示学习与规划的方法。我们的框架学习序列观测的生成模型，其中生成过程由低维规划模型中的转移及附加噪声所诱导。通过最大化生成观测与规划模型中转移之间的互信息，我们获得最能解释数据因果本质的低维表示。我们将规划模型的结构设计为兼容高效规划算法，并基于离散或连续状态提出了若干此类模型。最后，为生成视觉规划，我们将当前与目标观测投影到规划模型中各自的状态，规划一条轨迹，然后使用生成模型将该轨迹转换为观测序列。我们在绳索操控的 plausible 视觉规划想象上演示了我们的方法。