预测状态表示的实用学习

过去十年间，人们对用于学习预测状态表示（PSRs）的谱算法产生了浓厚兴趣。谱算法具有诱人的理论保证；然而，由此产生的模型在实际推断任务中的表现并不总是理想。造成这种行为的一个原因是预期任务（精确滤波或预测）与算法所优化的损失函数（模型参数的估计误差）之间存在不匹配。一个自然的想法是通过 EM 等算法来改进 PSRs 的性能。不幸的是，由于并非所有 PSRs 都能良好定义对数似然函数，因此如何在此背景下应用 EM 风格的算法尚不明显。我们表明，利用预测状态推断机（Predictive State Inference Machines）的思想可以克服这一问题。我们将作为一致且高效初始化的 PSR 谱算法与 PSIM 风格的更新相结合，以优化所得的模型参数。通过结合这两种思想，我们开发了推断梯度（Inference Gradients），这是一种用于 PSRs 实用学习的简单、快速且稳健的方法。推断梯度在 PSR 参数空间中执行梯度下降，以优化基于推断的损失函数（如 PSIM）。由于推断梯度使用了谱初始化，因此获得了与 PSRs 相同的一致性优势。我们表明，推断梯度在真实和合成数据集上的表现均优于 PSRs 和 PSIMs。