奥卡姆模型：选择更简单的表示以提高迁移性估计
机器学习
2025-02-12 v1 人工智能
摘要
对大数据集预训练模型进行微调已成为现代机器学习工作流程的核心环节。随着 Hugging Face 等在线模型仓库的普及，面向特定任务微调预训练模型的难度大幅降低。这引发了一个关键问题：针对给定任务，哪个预训练模型最为合适？这被称为迁移性估计。在本工作中，我们提出了两种新颖且高效的指标，用于估计预训练模型的迁移性。我们的ethods 基于将迁移性视为预训练模型表示易于分离目标类别的程度，这为迁移性估计提供了独特的视角。我们对提出的指标在多样化问题设置下的鲁棒性和实际实用性进行了严格评估，证明其优势。此外，我们提供了解释这些指标有效性和适应性的理论见解。我们实验表明，与领先基线相比，我们的指标在 Kendall's Tau 上提升了最高 32%。
关键词
引用
@article{arxiv.2502.06925,
title = {Occam's model: Selecting simpler representations for better transferability estimation},
author = {Prabhant Singh and Sibylle Hess and Joaquin Vanschoren},
journal= {arXiv preprint arXiv:2502.06925},
year = {2025}
}