基于超额风险分析的认知不确定性研究及其在变分推断中的应用
机器学习
2022-10-12 v2 机器学习
摘要
贝叶斯深度学习尤为重要，尤其因其评估认知不确定性（epistemic uncertainty, EU）的能力。由于计算复杂度问题，实践中常采用变分推断（VI）等近似方法获取后验分布，其泛化能力已被广泛分析，例如通过 PAC-Bayesian 理论；然而，尽管已有大量数值实验，关于 EU 的分析却很少。本研究通过关注其超额风险，分析近似贝叶斯推断中监督学习的 EU。首先，我们从理论上揭示了泛化误差与广泛使用的 EU 度量（如预测分布的方差与互信息）之间的新关系，并推导了它们的收敛行为。其次，我们阐明了 VI 的目标函数如何正则化 EU。基于该分析，我们提出了一种基于 PAC-Bayesian 理论的 VI 新目标函数，可直接控制预测性能与 EU。数值实验表明，我们的算法在 EU 评估上显著优于现有 VI 方法。
引用
@article{arxiv.2206.01606,
title = {Excess risk analysis for epistemic uncertainty with application to variational inference},
author = {Futoshi Futami and Tomoharu Iwata and Naonori Ueda and Issei Sato and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2206.01606},
year = {2022}
}