Critic Loss for Image Classification

现代神经网络分类器在各种任务上取得了显著性能，但经常对其预测表现过于自信，由于交叉熵损失。为了解决这一问题，我们提出了一种名为 \textbf{Cr}i\textbf{T}i\textbf{c} Loss for Image \textbf{Cl}assification (CrtCl，读作 Critical）的方法。CrtCl 将图像分类训练形式化为一个生成器-批评家框架，其中基本分类器充当生成器，纠错批评家对分类器施加损失。作为生成器的基本分类器给定图像后，生成类别的概率分布以及中间嵌入。批评模型给定图像、中间嵌入和基本模型的输出预测，预测基本模型是否已产生正确的分类，从而可作为自监督信号反向传播。值得注意的是，批评模型不使用标签作为输入，这意味着批评模型可以在半监督学习环境中对基本模型在有标签和无标签数据上进行训练。CrtCl 是一种用于提高准确率的学习型损失方法，缓解了使用交叉熵损失的负面影响。此外，CrtCl 提供了一种强大的方法来选择主动学习中要标记的数据，通过估计基本模型在无标签数据上的分类能力。我们在低标签数据情境和主动学习背景下研究了 CrtCl 的有效性。在分类任务中，我们发现与最新基线方法相比，CrtCl 在各种标签数据量下提高了分类器的泛化能力和校准程度。在主动学习中，我们表明该方法在准确率和校准方面均优于基线方法。我们在三个图像分类数据集上观察到一致的结果。