RankMe：通过联合嵌入自监督学习表示的有效秩评估其下游性能
机器学习
2023-06-27 v3 人工智能
计算机视觉与模式识别
摘要
联合嵌入自监督学习（JE-SSL）发展迅速，方法变体频出，但鲜有原则性指南助从业者成功部署。该困境主因在于 JE-SSL 核心原则不采用任何输入重建，因而缺乏训练失败的视觉线索。加之非信息性损失值，在无可用的标签来判断所学表示质量的新数据集上部署 SSL 变得困难。本研究提出一种简单的无监督准则，可指示所学 JE-SSL 表示的质量：其有效秩。尽管简单且计算友好，该方法——称为 RankMe——无需任何标签即可评估 JE-SSL 表示性能，即便在不同下游数据集上。RankMe 的另一益处是无需任何训练或超参数调优。通过涉及数百次训练过程的详尽实证实验，我们展示 RankMe 如何用于超参数选择，且与当前涉及数据集标签的选择方法相比最终性能几乎无下降。我们希望 RankMe 能促进 JE-SSL 向无法依赖标签评估表示质量的领域部署。
引用
@article{arxiv.2210.02885,
title = {RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank},
author = {Quentin Garrido and Randall Balestriero and Laurent Najman and Yann Lecun},
journal= {arXiv preprint arXiv:2210.02885},
year = {2023}
}