基于期望最大化基变换的不确定性感知自训练
计算机视觉与模式识别
2024-05-03 v1 人工智能
摘要
自训练是深度学习的一种强大方法。其关键过程是为建模寻找伪标签。然而，以往的自训练算法受到硬标签带来的过度自信问题的困扰，甚至一些与置信度相关的正则化器也无法全面捕捉不确定性。因此，我们提出了一种新的自训练框架，将模型和数据集的不确定性信息结合起来。具体而言，我们提出使用期望最大化来平滑标签并全面估计不确定性信息。我们进一步设计了一个基提取网络，以从数据集中估计初始基。获得的不确定性基可以基于不确定性信息进行过滤。随后，它可以被转化为真实的硬标签，以在重训练过程中迭代更新模型和基。在图像分类和语义分割上的实验表明，与置信度感知自训练算法相比，我们的方法在不同数据集上取得了 1-3 个百分点的提升，展现了其优势。
引用
@article{arxiv.2405.01175,
title = {Uncertainty-aware self-training with expectation maximization basis transformation},
author = {Zijia Wang and Wenbin Yang and Zhisong Liu and Zhen Jia},
journal= {arXiv preprint arXiv:2405.01175},
year = {2024}
}