神经算法推理器是隐式规划器

隐式规划已成为一种将习得的世界模型与端到端无模型强化学习相结合的优雅技术。我们研究受值迭代启发的隐式规划器类，值迭代是一种保证在完全指定的表格环境中产生完美策略的算法。我们发现以往方法要么假设环境以这种表格形式给出——这极具限制性——要么推断状态的“局部邻域”来运行值迭代——对此我们发现一种算法瓶颈效应。该效应由基于每个状态中标量预测显式运行规划算法引起，如果此类标量被错误预测，则可能有害于数据效率。我们提出执行潜值迭代网络（XLVINs），缓解了上述局限。我们的方法在高维潜空间中进行所有规划计算，打破了算法瓶颈。它通过精心利用神经图算法推理与对比自监督学习，与值迭代保持对齐。在八个低数据设置——包括经典控制、导航和Atari——中，XLVINs相对于基于值迭代的隐式规划器以及相关的无模型基线提供了数据效率的显著提升。最后，我们从经验上验证XLVINs能紧密对齐值迭代。