潜在世界模型中可预测性的控制理论

潜在世界模型被训练用于在学习到的表示中预测未来状态，然后部署在规划器中，该规划器通过模拟候选动作来选择动作。当前实践采用预测误差，即保留数据上的单步或多步展开损失，作为训练和模型选择的目标，并假设较低的预测误差会产生更好的控制。我们表明，这种假设在结构上并不可靠：规划器不是在训练分布上查询模型，而是在其候选动作所达到的状态上查询模型，这些状态通常会离开数据流形，因此数据平均误差本身不能控制控制性能。因此，我们将目标重新定义为在规划器承诺的计划上，预测计划成本与真实计划成本之间的差异，并证明规划器的次优性受该差异的两倍限制，而数据平均预测误差既不能限制也不能跟踪该差异。在线性控制前提下，该差异分为两项。第一项是流形上的小残差，预测动态和真实动态在此一致，谱税通过潜在转移算子的非正态性对其定价。第二项是流形外发散，动作将状态带离流形，两种动态在此发散；这种发散是约束项，不受任何数据平均误差的限制。合成算子证实了定价公式，潜在模型预测控制实验证实了解耦：跨种子，单步验证误差与控制成功基本不相关，而规划器可达度量上的保真度分数则跟踪控制成功。