以稀疏信息形式估计神经网络的模型不确定性
机器学习
2020-06-23 v1 计算机视觉与模式识别
机器人学
机器学习
摘要
我们提出深度神经网络（DNNs）模型不确定性的一种稀疏表示，其中参数后验用多元正态分布（MND）的逆形式（亦称信息形式）来近似。我们工作的关键洞见在于，信息矩阵（即协方差矩阵的逆）在其谱中趋于稀疏。因此，可有效利用低秩近似（LRA）等降维技术。为此，我们开发了一种新颖的稀疏化算法并推导了一个低开销的解析采样器。结果表明，信息形式可扩展地应用于表示 DNNs 中的模型不确定性。我们在多个基准上的详尽理论分析与经验评估显示了我们的方法相对于现有方法的竞争力。
引用
@article{arxiv.2006.11631,
title = {Estimating Model Uncertainty of Neural Networks in Sparse Information Form},
author = {Jongseok Lee and Matthias Humt and Jianxiang Feng and Rudolph Triebel},
journal= {arXiv preprint arXiv:2006.11631},
year = {2020}
}
备注
Accepted to the Thirty-seventh International Conference on Machine Learning (ICML) 2020