学习高维轨迹的精确长时域预测
机器学习
2024-12-20 v1 系统与控制
系统与控制
摘要
我们提出了一种基于预测编码原理的新型预测模型架构，能够实现扩展时域内未来观测的开环预测。有两个关键创新。首先，当前方法通常使用多步代价函数学习长时域开环预测，而我们改为在训练期间的前向传播中开环运行模型。其次，当前的预测编码模型在片段开始时将表示层的隐藏状态初始化为常数值，因此通常需要在与环境的多次交互步骤后才能开始产生准确预测。相反，我们学习了从片段中首次观测到隐藏状态的映射，使训练后的模型能够立即产生准确预测。我们将我们的架构性能与标准预测编码模型进行比较，并展示了该模型在对六自由度火星着陆期间模拟多普勒雷达高度计读数的准确长时域开环预测能力。最后，我们展示了通过使用该模型实现 Dyna 风格算法以加速带近端策略优化的策略学习，样本复杂度降低了 2 倍。
引用
@article{arxiv.1901.03895,
title = {Learning Accurate Extended-Horizon Predictions of High Dimensional Trajectories},
author = {Brian Gaudet and Richard Linares and Roberto Furfaro},
journal= {arXiv preprint arXiv:1901.03895},
year = {2024}
}