目标函数驱动表示相似性在数据集间的一致性
计算机视觉与模式识别
2025-06-05 v2 人工智能
机器学习
摘要
柏拉图表示假设声称，最近的基础模型正随其下游任务性能而收敛到共享的表示空间， regardless of 用于训练这些模型的目标函数和数据模态。表示相似性通常为单个数据集测量，可能在数据集之间不一致。因此，人们会怀疑，这种模型表示的收敛是否受数据集常用集合的影响所扭曲。我们提出了一种系统性方法，用于衡量表示相似性随用于构建表示的刺激集合而变化的程度。我们发现，目标函数是决定数据集间表示相似性一致性的关键因素。具体而言，自监督视觉模型学习的表示，其相对两两相似性从一个数据集推广到另一个数据集的能力优于图像分类或图像-文本模型。此外，模型表示相似性与模型任务行为之间的对应性是数据集相关的，仅在单一数据集时最为显著。我们的工作提供了一个分析模型表示在数据集间相似性并将其相似性链接到任务行为差异的框架。
引用
@article{arxiv.2411.05561,
title = {Objective drives the consistency of representational similarity across datasets},
author = {Laure Ciernik and Lorenz Linhardt and Marco Morik and Jonas Dippel and Simon Kornblith and Lukas Muttenthaler},
journal= {arXiv preprint arXiv:2411.05561},
year = {2025}
}
备注
26 pages