通过同时聚类与表示学习实现自标注
计算机视觉与模式识别
2020-02-20 v3 神经与进化计算
摘要
结合聚类与表示学习是深度神经网络无监督学习最有前景的方法之一。然而，朴素地这样做会导致具有退化解的病态学习问题。在本文中，我们提出了一种新颖且原理性的学习公式来解决这些问题。该方法通过最大化标签与输入数据索引之间的信息获得。我们证明该准则将标准交叉熵最小化扩展为一个最优传输问题，我们使用 Sinkhorn-Knopp 算法的一个快速变体为数百万张输入图像和数千个标签高效地求解。所得方法能够对视觉数据进行自标注，从而无需人工标签训练极具竞争力的图像表示。我们的方法在 SVHN、CIFAR-10、CIFAR-100 和 ImageNet 上对 AlexNet 和 ResNet-50 实现了最先进的表示学习性能，并给出了首个在监督 Pascal VOC 检测基线上表现更优的自监督 AlexNet。代码与模型已公开。
引用
@article{arxiv.1911.05371,
title = {Self-labelling via simultaneous clustering and representation learning},
author = {Yuki Markus Asano and Christian Rupprecht and Andrea Vedaldi},
journal= {arXiv preprint arXiv:1911.05371},
year = {2020}
}
备注
Accepted paper at the International Conference on Learning Representations (ICLR) 2020