KITE：基于核方法的改进迁移性估计方法

迁移性估计已成为迁移学习中的重要问题。迁移性估计方法以一组预训练模型为输入，决定哪个预训练模型可以提供最佳的迁移学习性能。现有方法通过分析预训练模型的输出或与在目标数据集上训练的探针模型进行比较来解决此问题，但这两种方法都不足以提供可靠且高效的迁移性估计。本文提出了一种新的视角，引入 Kite 作为基于核方法的改进迁移性估计方法。Kite 基于两个关键观察结果：预训练特征的可分离性以及预训练特征与随机特征的相似性是估计迁移性的两个重要因素。受核方法启发，Kite 采用中心化核对齐作为有效的特征可分离性和特征相似性评估方法。Kite 易于解释、快速计算，并且对目标数据集大小鲁棒。我们在最近引入的大规模模型选择基准测试上评估了 Kite 的性能。该基准测试包含 8 个源数据集、6 个目标数据集和 4 种模型架构，共计 32 个预训练模型。广泛的结果表明，Kite 在迁移性估计方面以显著的优势超过现有方法。