面向大规模半监督学习的局部标签传播
计算机视觉与模式识别
2019-05-29 v1 人工智能
机器学习
摘要
训练深度神经网络以解决监督学习任务时的一个重大问题是需要大量带标签的数据点。半监督学习的目标是利用普遍存在的无标签数据以及少量的带标签数据，来实现较高的任务性能。尽管近期在开发对较小数据集有效的半监督算法方面取得了实质性进展，但这些技术中有许多不易扩展到现实应用所特有的大规模（无标签）数据集。本文中，我们引入一种名为局部标签传播（LLP）的可扩展半监督学习新方法。LLP拓展了近期无监督嵌入学习工作的思想，首先使用深度神经网络将带标签与不带标签的数据点嵌入到公共潜在空间中。然后，它以依赖于嵌入局部几何的方式，将伪标签从已知数据点传播到未知数据点，将点点间距离与局部数据密度作为传播可能性的权重加以考虑。随后，深度嵌入的参数被训练为同时最大化伪标签分类性能以及每个伪标签组内数据点聚类的度量，迭代地交替进行网络训练与标签传播阶段。我们在ImageNet数据集上展示了LLP方法的效用，在各类训练机制下均持续以大幅优势超越先前最先进的可扩展半监督学习算法。我们还表明，通过LLP学习到的特征表示能很好地迁移到Places 205数据集中的场景识别任务。
引用
@article{arxiv.1905.11581,
title = {Local Label Propagation for Large-Scale Semi-Supervised Learning},
author = {Chengxu Zhuang and Xuehao Ding and Divyanshu Murli and Daniel Yamins},
journal= {arXiv preprint arXiv:1905.11581},
year = {2019}
}