面向无监督对比表示学习的批次筛选
机器学习
2021-08-20 v1
摘要
近期出现的先进无监督对比视觉表示学习方法（SimCLR、MoCo、SwAV）均利用数据增强来构建由相似与不相似图像对组成的实例判别前置任务。相似对通过从同一图像随机提取块并应用颜色抖动或模糊等其他变换来构造，而给定批次中来自不同图像实例的变换块被视为不相似对。我们认为这种方法可能导致在语义上不相似的相似对。在这项工作中，我们通过引入一种批次筛选（batch curation）方案来解决该问题，该方案在训练过程中选择更符合底层对比目标的批次。我们深入分析了何种相似与不相似对是有益的，并通过将批次筛选集成到 SimCLR 模型中在 CIFAR10 上验证了其有效性。
引用
@article{arxiv.2108.08643,
title = {Batch Curation for Unsupervised Contrastive Representation Learning},
author = {Michael C. Welle and Petra Poklukar and Danica Kragic},
journal= {arXiv preprint arXiv:2108.08643},
year = {2021}
}