预测状态解码器：将未来编码进循环网络
机器学习
2017-09-26 v1 机器学习
摘要
循环神经网络(RNN)是一种至关重要的建模技术，它依赖于通过优化监督、无监督或强化训练损失间接学习到的内部状态。RNN 用于建模动态过程，这些过程的特征在于其潜在状态的形式通常是未知的，从而无法在 RNN 内部进行解析表示。在预测状态表示(PSR)文献中，潜在状态过程通过直接对未来观测的分布进行建模的内部状态表示来建模，该领域的最新工作大多依赖于显式表示并瞄准该概率分布的充分统计量。我们旨在通过用预测状态解码器(PSD)增强现有的最先进循环神经网络，来结合 RNN 和 PSR 的优势，PSD 为网络的内部状态表示增加了监督，以瞄准预测未来的观测。预测状态解码器易于实现，并可通过额外的损失正则化轻松整合到现有的训练流程中。我们通过在三个不同领域的实验结果证明了 PSD 的有效性：概率滤波、模仿学习和强化学习。在每个领域中，我们的方法都改进了最先进循环基线的统计性能，并且所需的迭代次数更少、数据量更小。
引用
@article{arxiv.1709.08520,
title = {Predictive-State Decoders: Encoding the Future into Recurrent Networks},
author = {Arun Venkatraman and Nicholas Rhinehart and Wen Sun and Lerrel Pinto and Martial Hebert and Byron Boots and Kris M. Kitani and J. Andrew Bagnell},
journal= {arXiv preprint arXiv:1709.08520},
year = {2017}
}
备注
NIPS 2017