用于表示学习与不确定性量化的最后一层状态空间模型
机器学习
2023-07-06 v1
摘要
随着序列神经架构变得更深且更复杂，不确定性估计愈发具有挑战性。量化不确定性的努力通常依赖于特定的训练过程，并且由于此类模型的维度而带来额外的计算成本。本文中，我们提议将分类或回归任务分解为两步：用于学习低维状态的表示学习阶段，以及用于不确定性估计的状态空间模型。该方法允许分离表示学习与生成模型的设计。我们展示了如何通过在已有的经训练的神经网络之上添加一层基于状态空间的最后一层——其参数由序贯蒙特卡洛（Sequential Monte Carlo）方法估计——来估计预测分布。我们将所提方法应用于电力变压器油温的小时级估计，这是一个公开基准数据集。我们的模型考虑了由未知或不可用变量导致的含噪数据结构，并能够提供预测的置信区间。
引用
@article{arxiv.2307.01566,
title = {Last layer state space model for representation learning and uncertainty quantification},
author = {Max Cohen and Maurice Charbit and Sylvain Le Corff},
journal= {arXiv preprint arXiv:2307.01566},
year = {2023}
}
备注
IEEE Workshop Statistical Signal Processing, 2023