利用判别性特征度量自监督表示质量以用于下游分类
机器学习
2023-12-14 v6 人工智能
计算机视觉与模式识别
摘要
自监督学习（SSL）在下游分类任务中已展现出令人印象深刻的成果。然而，在理解其失败模式与解释其所学表示方面的工作仍然有限。本文中，我们研究了包括 SimCLR、SwaV、MoCo、BYOL、DINO、SimSiam、VICReg 和 Barlow Twins 在内的前沿自监督模型的表示空间。在不使用类别标签信息的情况下，我们发现了对应于图像中独特物理属性的判别性特征，这些特征主要存在于被正确分类的表示中。利用这些特征，我们可将表示空间压缩至多 40% 而不显著影响线性分类性能。随后我们提出自监督表示质量分数（或称 Q-Score），一种无监督分数，能够可靠预测给定样本在线性评估中是否可能被误分类，在 ImageNet-100 上取得 91.45 的 AUPRC，在 ImageNet-1K 上取得 78.78。Q-Score 也可用作预训练编码器的正则化项以补救低质量表示。相较于基线，使用 Q-Score 正则化进行微调可将 SSL 模型的线性探测准确率在 ImageNet-100 上提升至多 5.8%，在 ImageNet-1K 上提升至多 3.7%。最后，利用梯度热图与 Salient ImageNet 掩码，我们定义了一种度量来量化各表示的可解释性。我们表明判别性特征与核心属性强相关，且通过 Q-Score 正则化增强这些特征可使 SSL 表示更具可解释性。
引用
@article{arxiv.2203.01881,
title = {Measuring Self-Supervised Representation Quality for Downstream Classification using Discriminative Features},
author = {Neha Kalibhat and Kanika Narang and Hamed Firooz and Maziar Sanjabi and Soheil Feizi},
journal= {arXiv preprint arXiv:2203.01881},
year = {2023}
}
备注
Published at AAAI 2024