超越Top-1一致性：利用散度预测分布偏移下的性能
机器学习
2023-12-14 v1 人工智能
摘要
了解模型是否能泛化到“野外”数据对于安全部署至关重要。为此，我们研究了考虑完整预测分布的模型分歧概念——特别是基于Hellinger距离、Jensen-Shannon散度和Kullback-Leibler散度的分歧。我们发现，与基于top-1的对应指标相比，基于散度的分数在分布外数据上提供了更好的测试误差估计和检测率。实验涉及标准视觉模型和基础模型。
引用
@article{arxiv.2312.08033,
title = {Beyond Top-Class Agreement: Using Divergences to Forecast Performance under Distribution Shift},
author = {Mona Schirmer and Dan Zhang and Eric Nalisnick},
journal= {arXiv preprint arXiv:2312.08033},
year = {2023}
}
备注
Workshop on Distribution Shifts, 37th Conference on Neural Information Processing Systems (NeurIPS 2023)