CALICO：集成校准的自信主动学习
机器学习
2024-07-03 v1 人工智能
计算机视觉与模式识别
摘要
深度学习在安全关键应用中（如医学成像）的日益增长使用，导致标签数据有限的担忧，这种需求在模型复杂度提高后更为突出，给领域专家标注数据带来挑战。针对这一问题，活跃学习 (AL) 被用于以有限标注成本高效训练模型。在深度神经网络 (DNN) 语境下，AL 通常使用置信度或概率输出作为选择最具信息性样本的得分。然而，现代 DNN 的置信度输出不可靠，使得校准变得至关重要。我们提出了一个自校准的 AL 框架，用于在训练过程中对用于样本选择的置信度进行校准，称为 Confident Active Learning with Integrated CalibratiOn (CALICO)。CALICO 采用分类器和能量基模型的联合训练，而非标准的 softmax 分类器。这种方法允许在训练期间同时估计输入数据分布和类别概率，从而在无需额外标注数据集的情况下提高校准效果。实验结果表明，与基于 softmax 的分类器相比，CALICO 在更少的标注样本下实现了更好的分类性能。此外，还观察到该模型的校准稳定性取决于数据的先验类别分布。
引用
@article{arxiv.2407.02335,
title = {CALICO: Confident Active Learning with Integrated Calibration},
author = {Lorenzo S. Querol and Hajime Nagahara and Hideaki Hayashi},
journal= {arXiv preprint arXiv:2407.02335},
year = {2024}
}
备注
Accepted to ICANN2024