通过带输入/输出核的残差估计量化神经网络中的点预测不确定性
机器学习
2020-06-05 v5 机器学习
摘要
神经网络（NNs）已广泛用于广泛的真实世界回归任务，其目标是预测收入、效果或定量结果等数值结果。在许多此类任务中，仅有点预测是不够的：还必须估计该预测的不确定性（即风险或置信度）。此类任务中最常用的标准 NNs 不提供不确定性信息。现有方法通过将贝叶斯模型与 NNs 结合来解决该问题，但这些模型难以实现、训练成本更高，且通常预测精度不如标准 NNs。本文提出一个新框架（RIO），可对任何预训练标准 NN 估计不确定性。通过用高斯过程对其预测残差建模来刻画 NN 的行为，该过程的核同时包含 NN 的输入与输出。该框架在十二个真实世界数据集上评估，发现其（1）提供可靠的不确定性估计，（2）降低点预测的误差，（3）对大型数据集具有良好的可扩展性。鉴于 RIO 可应用于任何标准 NN 且无需修改模型架构或训练流程，其为构建真实世界 NN 应用提供了重要组成部分。
引用
@article{arxiv.1906.00588,
title = {Quantifying Point-Prediction Uncertainty in Neural Networks via Residual Estimation with an I/O Kernel},
author = {Xin Qiu and Elliot Meyerson and Risto Miikkulainen},
journal= {arXiv preprint arXiv:1906.00588},
year = {2020}
}
备注
Fixed technical typos in log marginal likelihood calculation and Lemma A.2 proof