LiDAR：感知联合嵌入自监督学习架构中的线性探测性能
机器学习
2023-12-08 v1 计算机视觉与模式识别
摘要
联合嵌入架构已成为获取可迁移数据表示的有前途的途径。然而，使用 JE 方法的一个关键障碍在于，在无法访问下游任务和带标注数据集的情况下评估所学表示的固有挑战。缺乏高效可靠的评估，便难以迭代 JE 方法的架构与训练选择。在本文中，我们引入了 LiDAR（Linear Discriminant Analysis Rank，线性判别分析秩），一种旨在衡量 JE 架构内表示质量的度量指标。通过区分信息特征与无信息特征，我们的度量指标解决了近期基于特征协方差秩的方法的若干缺陷。本质上，LiDAR 量化了与代理 SSL 任务相关的线性判别分析（LDA）矩阵的秩——这一度量直观地捕获了与求解 SSL 任务相关的信息内容。我们通过实验证明，LiDAR 在预测最优超参数的能力上显著超越了朴素的基于秩的方法。我们提出的准则为评估 JE 架构内的表示质量提供了一种更稳健且直观的手段，我们希望这能促进这些强大技术在各个领域中的广泛应用。
引用
@article{arxiv.2312.04000,
title = {LiDAR: Sensing Linear Probing Performance in Joint Embedding SSL Architectures},
author = {Vimal Thilak and Chen Huang and Omid Saremi and Laurent Dinh and Hanlin Goh and Preetum Nakkiran and Joshua M. Susskind and Etai Littwin},
journal= {arXiv preprint arXiv:2312.04000},
year = {2023}
}
备注
Technical report