用于半监督学习的插值一致性训练
机器学习
2022-10-20 v5 人工智能
机器学习
摘要
我们提出插值一致性训练（ICT），一种简单且计算高效的算法，用于在半监督学习范式下训练深度神经网络。ICT 鼓励在未标记点插值处的预测与这些点预测的插值保持一致。在分类问题中，ICT 将决策边界推向数据分布的低密度区域。我们的实验表明，当应用于 CIFAR-10 和 SVHN 基准数据集上的标准神经网络架构时，ICT 取得了最先进的性能。我们的理论分析表明，ICT 对应于某种基于未标记点的数据自适应正则化，其在高置信度值下减少对标记点的过拟合。
引用
@article{arxiv.1903.03825,
title = {Interpolation Consistency Training for Semi-Supervised Learning},
author = {Vikas Verma and Kenji Kawaguchi and Alex Lamb and Juho Kannala and Arno Solin and Yoshua Bengio and David Lopez-Paz},
journal= {arXiv preprint arXiv:1903.03825},
year = {2022}
}
备注
This is the latest version, which is published in the Journal, "Neural Networks", in 2022. All the previous results are unchanged. Keyword: Deep Learning, Semi-supervised Learning, Mixup