Sketched Lanczos 不确定性得分：关于 Fisher 信息矩阵的低内存概述
数值分析
2024-10-28 v2 数值分析
摘要
当前不确定性量化计算和内存开销大，限制了实际应用。为此，我们发展了 Sketched Lanczos 不确定性 (SLU)：一种无需额外开销即可应用于预训练神经网络的体系结构无关不确定性得分。重要的是，SLU 的内存使用仅随模型参数数量呈对数增长。我们将 Lanczos 算法与降维技术结合，用于计算矩阵前导特征向量的草图。将此新算法应用于 Fisher 信息矩阵，可得到一种经济且可靠的不确定性得分。实验表明，SLU 能产生良好校准的不确定性，可靠检测离群分布样本，在低内存场景下持续优于现有方法。
关键词
引用
@article{arxiv.2409.15008,
title = {Sketched Lanczos uncertainty score: a low-memory summary of the Fisher information},
author = {Marco Miani and Lorenzo Beretta and Søren Hauberg},
journal= {arXiv preprint arXiv:2409.15008},
year = {2024}
}