用于改进分布外检测的恒等曲率拉普拉斯近似
机器学习
2024-11-06 v2 人工智能
计算机视觉与模式识别
摘要
不确定性估计在安全关键应用中至关重要，其中鲁棒的分布外（OOD）检测是必不可少的。传统的贝叶斯方法虽然有效，但往往受限于极高的计算需求。作为替代，拉普拉斯近似为不确定性估计提供了一种更实用、更高效的方法。在本文中，我们引入了恒等曲率拉普拉斯近似（ICLA），这是一种新颖的方法，它通过使用恒等曲率并优化先验精度，挑战了传统的后验协方差公式。这种创新设计在 CIFAR-10、CIFAR-100 和 ImageNet 等知名数据集上显著增强了 OOD 检测性能，同时保持了校准分数。我们将这种改进归因于典型特征嵌入与 Fisher 信息矩阵测量的曲率之间的对齐问题。我们的发现进一步得到了支持，即证明结合 Fisher 惩罚或锐度感知最小化技术可以极大地增强标准拉普拉斯近似的不确定性估计能力。
关键词
引用
@article{arxiv.2312.10464,
title = {Identity Curvature Laplace Approximation for Improved Out-of-Distribution Detection},
author = {Maksim Zhdanov and Stanislav Dereka and Sergey Kolesnikov},
journal= {arXiv preprint arXiv:2312.10464},
year = {2024}
}