MANO: 基于矩阵范数实现分布迁移下的无监督精度估计
机器学习
2024-11-26 v3 机器学习
摘要
利用模型输出（尤其是逻辑值）是估计预训练神经网络在分布外（out-of-distribution, OOD）样本测试准确率的常见方法，而无需获取相应的 ground truth标签。尽管易于实现且计算高效，但当前基于逻辑值的无监督方法易受过度自信问题影响，尤其在自然分布迁移下会导致预测偏差。本文首先从低密度分离假设的角度研究逻辑值与泛化性能之间的关系。我们的发现激发了我们提出的方法MANO（Matrix Norm），该方法（1）对逻辑值应用数据依赖归一化以减少预测偏差，（2）将归一化逻辑矩阵的范数作为估计得分。我们的理论分析突显了所提供得分与模型不确定性之间的联系。我们在常见的无监督精度估计基准测试上进行了广泛实证研究，表明MANO在存在合成、自然或子群组迁移时，在 various architectures中实现了状态最佳性能。代码可在 \url{https://github.com/Renchunzi-Xie/MaNo} 获取。
引用
@article{arxiv.2405.18979,
title = {MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts},
author = {Renchunzi Xie and Ambroise Odonnat and Vasilii Feofanov and Weijian Deng and Jianfeng Zhang and Bo An},
journal= {arXiv preprint arXiv:2405.18979},
year = {2024}
}
备注
The three first authors contributed equally