白化一致性地改进自监督学习
计算机视觉与模式识别
2024-08-15 v1
摘要
自监督学习（SSL）已被证明是学习视觉表征的强大方法。在本研究中，我们提出在自监督学习中将 ZCA 白化作为编码器的最后一层，通过对特征进行归一化和去相关来增强所学特征的质量。尽管白化在之前的 SSL 工作中已被使用，但其普遍改进任何 SSL 模型的潜力尚未被探索。我们证明，将白化作为 SSL 预训练编码器的最后一层独立于自监督学习方法和编码器架构，因此它能在多种编码器架构和数据集上提升广泛的 SSL 方法的性能。我们的实验表明，白化能够将线性探测和 k-NN 探测的准确率提高 1-5%。此外，我们提出了能够全面分析所学特征的度量指标，为表征质量提供了见解，并有助于识别坍缩模式。
引用
@article{arxiv.2408.07519,
title = {Whitening Consistently Improves Self-Supervised Learning},
author = {András Kalapos and Bálint Gyires-Tóth},
journal= {arXiv preprint arXiv:2408.07519},
year = {2024}
}
备注
Preprint