面向半监督学习的多教师网络确定性驱动一致性损失
计算机视觉与模式识别
2021-05-10 v7
摘要
半监督学习中成功的方法之一基于一致性正则化。通常，训练一个学生模型使其对处于不同扰动下的输入与教师预测保持一致。要取得成功，教师给出的预测目标应具有良好的质量，否则学生可能被教师误导。遗憾的是，现有方法未评估教师目标的质量。本文提出一种新颖的确定性驱动一致性损失（Certainty-driven Consistency Loss, CCL），该损失利用一致性损失中的预测不确定性，使学生从可靠目标中动态学习。具体地，我们提出两种方案，即过滤式CCL与温度式CCL，以在一致性正则化中过滤掉不确定预测或对其给予较少关注。我们进一步引入一种新颖的解耦框架以鼓励模型差异。在SVHN、CIFAR-10和CIFAR-100上的实验结果展示了我们的方法相对于若干现有方法的优势。
引用
@article{arxiv.1901.05657,
title = {Certainty Driven Consistency Loss on Multi-Teacher Networks for Semi-Supervised Learning},
author = {Lu Liu and Robby T. Tan},
journal= {arXiv preprint arXiv:1901.05657},
year = {2021}
}