用于多样化决策边界的损失函数熵正则化

是否可能在无真值标注情况下训练若干分类器进行有意义的众包以产生更好的预测标签集？本文将修改对比学习目标，自动训练自互补集成以在 CIFAR10 和 CIFAR100-20 任务上产生最先进的预测。本文提出一种直接方法，修改单一无监督分类流程以自动生成具有不同决策边界的神经网络集成，从而学习更丰富的类特征集。损失函数熵正则化（LFER）是加到预训练和对比学习损失函数上的正则项。LFER 是一种调节无监督学习输出空间熵状态的装置，从而使神经网络的决策边界隐表示多样化。用 LFER 训练的集成对靠近决策边界的样本有更高的成功预测准确率。LFER 是扰动决策边界的合适装置，并在对比学习阶段产生了击败最先进的分类器。实验表明 LFER 能产生准确率可与最先进相比但具有不同隐决策边界的集成。它使我们能对靠近决策边界的样本进行有意义验证，促进近边界样本的正确分类。通过复合集成中神经网络对单样本正确预测的概率，我们的方法可通过去噪和确认正确特征映射来改进单一分类器。