ALSA：用于分布外准确率估计的 Logit 空间锚点
机器学习
2025-08-28 v1
摘要
在未见、无标签数据集上估计模型准确率对于现实世界的机器学习应用至关重要，尤其是在会降低性能的分布偏移条件下。现有方法通常依赖预测的类别概率（softmax 分数）或数据相似度指标。虽然基于 softmax 的方法得益于在标准单纯形上表示预测，但将 logit 压缩为概率会导致信息丢失。同时，基于相似度的方法计算成本高昂且具有领域特异性，限制了其更广泛的适用性。在本文中，我们提出了 ALSA（Anchors in Logit Space for Accuracy estimation，用于准确率估计的 Logit 空间锚点），这是一种通过直接在 logit 空间中操作以保留更丰富信息的新颖框架。基于理论洞察与经验观察，我们证明了 logit 的聚合与分布与模型的预测性能表现出强相关性。为利用这一特性，ALSA 采用了基于锚点的建模策略：在 logit 空间中初始化多个可学习锚点，每个锚点被分配一个影响函数以捕捉 logit 中的细微变化。这使得 ALSA 能够在广泛的分布偏移范围内提供稳健且准确的性能估计。在视觉、语言和图基准上的大量实验表明，ALSA 优于基于 softmax 和基于相似度的基线方法。值得注意的是，ALSA 在显著分布偏移下的稳健性凸显了其作为可靠模型评估实用工具的潜力。
引用
@article{arxiv.2508.19613,
title = {ALSA: Anchors in Logit Space for Out-of-Distribution Accuracy Estimation},
author = {Chenzhi Liu and Mahsa Baktashmotlagh and Yanran Tang and Zi Huang and Ruihong Qiu},
journal= {arXiv preprint arXiv:2508.19613},
year = {2025}
}
备注
Accepted to BMVC 2025, Oral