将对比学习扩展至无监督核心集选择
机器学习
2021-04-08 v2
摘要
自监督对比学习提供了一种从大量未标记数据中学习信息丰富特征的手段。本文深入探讨另一有用思路——提供一种完全未标记核心集的选择方法。对此，作为众多自监督方法之一的对比学习近期被提出并持续取得最高性能。这促使我们选取两种领先的对比学习方法：视觉表示对比学习简单框架（SimCLR）与动量对比（MoCo）学习框架。我们计算了整个对比学习过程中每个 epoch 各样本的余弦相似度，随后累加余弦相似度值得到核心集分数。我们的假设是，相似度低的样本更可能充当核心集。与现有带标签的核心集选择方法相比，我们的方法降低了人工标注成本。本研究中实现的无监督核心集选择方法优于随机选取子集，并在多个分类数据集（如 CIFAR、SVHN 与 QMNIST）上与现有有监督核心集选择结果相当。
引用
@article{arxiv.2103.03574,
title = {Extending Contrastive Learning to Unsupervised Coreset Selection},
author = {Jeongwoo Ju and Heechul Jung and Yoonju Oh and Junmo Kim},
journal= {arXiv preprint arXiv:2103.03574},
year = {2021}
}
备注
11pages