基于随机划分视图一致分配的表示学习
计算机视觉与模式识别
2023-10-30 v2 机器学习
摘要
我们提出 CARP（基于随机划分的视图一致分配，Consistent Assignment of Views over Random Partitions），一种用于视觉特征表示学习的自监督聚类方法。CARP 以端到端在线方式使用梯度下降学习原型，无需额外的不可微模块来解决聚类分配问题。CARP 优化了一个基于原型随机划分的新 pretext task，该任务对模型进行正则化并强制视图间分配的一致性。此外，我们的方法提高了训练稳定性，并防止了联合嵌入训练中的坍缩解。通过广泛评估，我们证明 CARP 的表示适用于学习下游任务。我们在 17 个数据集上评估 CARP 的表示能力，涵盖许多标准协议，包括线性评估、少样本分类、k-NN、k-means、图像检索和拷贝检测。我们将 CARP 的性能与 11 种现有自监督方法进行比较。我们对方法进行大量消融实验，并通过设计多个随机分类任务证明所提出的随机划分 pretext task 提升了学习表示的质量。在迁移学习任务中，CARP 相对于许多训练时间更长的 SSL 方法取得了平均最佳性能。
引用
@article{arxiv.2310.12692,
title = {Representation Learning via Consistent Assignment of Views over Random Partitions},
author = {Thalles Silva and Adín Ramírez Rivera},
journal= {arXiv preprint arXiv:2310.12692},
year = {2023}
}
备注
To appear in NeurIPS 2023. Code available at https://github.com/sthalles/carp