论校准在半监督学习中的重要性
机器学习
2022-10-11 v1 计算机视觉与模式识别
应用物理
摘要
最先进（SOTA）的半监督学习（SSL）方法通过结合一致性正则化与伪标记技术，在利用有标签与无标签数据混合方面极为成功。在伪标记过程中，模型对无标签数据的预测被用于训练，因此模型校准对缓解确认偏差十分重要。然而，许多 SOTA 方法为模型性能而优化，极少关注改进模型校准。本工作中，我们从经验上证明模型校准与模型性能强相关，并提议通过近似贝叶斯技术改进校准。我们引入一系列优化校准的新 SSL 模型，并在 CIFAR-10、CIFAR-100 与 ImageNet 标准视觉基准上展示其有效性，测试准确率提升达 15.9%。此外，我们还在类别不平衡数据集与光子学等更真实且具挑战性的问题中展示了其有效性。
引用
@article{arxiv.2210.04783,
title = {On the Importance of Calibration in Semi-supervised Learning},
author = {Charlotte Loh and Rumen Dangovski and Shivchander Sudalairaj and Seungwook Han and Ligong Han and Leonid Karlinsky and Marin Soljacic and Akash Srivastava},
journal= {arXiv preprint arXiv:2210.04783},
year = {2022}
}
备注
24 pages