具备未知感知能力的可概率电路
机器学习
2023-06-13 v3 人工智能
摘要
概率电路（PCs）是允许精确且易处理概率推断的模型。与神经网络不同，它们常被认为经过良好校准且对分布外（OOD）数据具有鲁棒性。本文中，我们表明 PC 实际上对 OOD 数据并不鲁棒，即它们不知道自己不知道什么。接着我们展示了如何通过模型不确定性量化克服这一挑战。为此，我们提出易处理丢弃推理（TDI），一种通过方差传播推导蒙特卡洛丢弃（MCD）解析解来估计不确定性的推理过程。不同于神经网络中以多次网络评估为代价的 MCD，TDI 在单次前向传播中提供易处理的无采样不确定性估计。TDI 提升了 PC 对分布偏移和 OOD 数据的鲁棒性，这通过一系列评估真实世界数据上分类置信度与不确定性估计的实验得到证明。
引用
@article{arxiv.2302.06544,
title = {Probabilistic Circuits That Know What They Don't Know},
author = {Fabrizio Ventola and Steven Braun and Zhongjie Yu and Martin Mundt and Kristian Kersting},
journal= {arXiv preprint arXiv:2302.06544},
year = {2023}
}
备注
24 pages, 8 figures, 1 table, 1 algorithm