面向稀疏标签集的边际校准模型头尾解析
计算与语言
2023-05-18 v1
摘要
为解释概率模型的行为，测量模型的校准程度——即其产生可靠置信分数的程度——是有用的。我们解决了具有稀疏标签集的标注模型校准这一开放问题，并推荐了在此类模型中测量与降低校准误差（CE）的策略。我们表明，几种事后重校准技术均能降低两个已有序列标注器在边际分布上的校准误差。此外，我们提出标签频率分组（TFG）作为在不同频率带中测量校准误差的方法。进一步，对各组分别重校准可促进校准误差在标签频率谱上更公平的降低。
引用
@article{arxiv.2109.07494,
title = {Making Heads and Tails of Models with Marginal Calibration for Sparse Tagsets},
author = {Michael Kranzlein and Nelson F. Liu and Nathan Schneider},
journal= {arXiv preprint arXiv:2109.07494},
year = {2023}
}