用于半监督学习的均值教师局部聚类方法
机器学习
2020-07-27 v2 计算机视觉与模式识别
机器学习
摘要
Tarvainen 和 Valpola 提出的 Mean Teacher (MT) 模型在多个半监督基准数据集上表现出良好的性能。MT 将教师模型的权重维护为学生模型权重的指数移动平均，并在输入的多样扰动下最小化其概率预测之间的散度。然而，已知 MT 会受到确认偏差的影响，即强化教师模型的不正确预测。在本工作中，我们提出了一种简单而有效的方法，称为 Local Clustering (LC)，以减轻确认偏差的影响。在 MT 中，每个数据点在训练期间被视为与其他点独立；然而，如果数据点共享相似的特征，它们在特征空间中很可能彼此接近。受此启发，我们通过最小化特征空间中相邻数据点之间的成对距离来对数据点进行局部聚类。结合标记数据点上的标准分类交叉熵目标，被错误分类的未标记数据点在其邻居的帮助下被拉向其正确类别的高密度区域，从而提高模型性能。我们在半监督基准数据集 SVHN 和 CIFAR-10 上证明，将我们的 LC 损失添加到 MT 中，与 MT 相比获得了显著提升，且性能可与半监督学习中的 SOTA 相媲美。
关键词
引用
@article{arxiv.2004.09665,
title = {Local Clustering with Mean Teacher for Semi-supervised Learning},
author = {Zexi Chen and Benjamin Dutton and Bharathkumar Ramachandra and Tianfu Wu and Ranga Raju Vatsavai},
journal= {arXiv preprint arXiv:2004.09665},
year = {2020}
}
备注
8 pages, 7 figures