线上一致性：预测分布偏移下神经网络的性能
机器学习
2023-05-12 v2 人工智能
摘要
近来，Miller 等人表明，在多个 OOD 基准上，模型的分布内（ID）准确率与其分布外（OOD）准确率之间存在强线性相关性——他们称此现象为“accuracy-on-the-line（线上准确率）”。尽管这是模型选择的有用工具（即 OOD 性能最可能最佳的模型是 ID 准确率最高的那个），但这一事实无助于在无法获取带标注 OOD 验证集时估计模型的实际 OOD 性能。本文中，我们展示了一个类似却令人惊讶的现象也存在于成对神经网络分类器之间的一致性中：只要 accuracy-on-the-line 成立，我们便观察到任意两对神经网络（可能具有不同架构）预测之间的 OOD 一致性与它们的 ID 一致性也存在强线性相关性。此外，我们观察到 OOD 对 ID 一致性的斜率与偏置与其 OOD 对 ID 准确率的斜率与偏置密切匹配。我们将此现象称为 agreement-on-the-line（线上一致性），它具有重要的实际应用：无需任何标注数据，我们便可预测分类器的 OOD 准确率，因为 OOD 一致性仅用无标注数据即可估计。我们的预测算法在一致性在线成立的偏移下，以及令人惊讶地在准确率不在线上的情况下，均优于以往方法。该现象也为深度神经网络提供了新的见解：与 accuracy-on-the-line 不同，agreement-on-the-line 似乎仅对神经网络分类器成立。
引用
@article{arxiv.2206.13089,
title = {Agreement-on-the-Line: Predicting the Performance of Neural Networks under Distribution Shift},
author = {Christina Baek and Yiding Jiang and Aditi Raghunathan and Zico Kolter},
journal= {arXiv preprint arXiv:2206.13089},
year = {2023}
}
备注
NeurIPS 2022