基于分块影响函数的循环神经网络频率派不确定性估计
机器学习
2020-06-30 v2 机器学习
摘要
循环神经网络（RNNs）在序列与时间序列数据建模中发挥着重要作用。然而，当使用 RNN 来辅助决策时，仅有的预测本身并不充分；我们还需要预测不确定性的估计。现有的 RNN 不确定性量化方法主要基于贝叶斯方法；这些方法计算代价高昂，且需要对 RNN 架构与训练进行重大改动。借助经典刀切重采样的思想，我们提出了一种频率派替代方案：（a）不干扰模型训练或损害其准确性，（b）适用于任意 RNN 架构，且（c）对所估计不确定性区间提供理论覆盖保证。我们的方法从 RNN 输出的（刀切）采样分布变异性中导出预测不确定性，该分布通过重复删除（时间相关的）训练数据块并收集在剩余数据上重新训练的 RNN 的预测来估计。为避免穷尽式重训练，我们利用影响函数来估计移除训练数据块对所学 RNN 参数的影响。使用来自重症监护环境的数据，我们展示了不确定性量化在序列决策中的效用。
引用
@article{arxiv.2006.13707,
title = {Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions},
author = {Ahmed M. Alaa and Mihaela van der Schaar},
journal= {arXiv preprint arXiv:2006.13707},
year = {2020}
}