k-NN 作为迁移学习可 transferability 估计器的简单且高效方法
机器学习
2025-06-11 v2 计算机视觉与模式识别
摘要
在 domain 移位、task 不同、architecture 改变的新环境中，迁移学习能否预期工作？许多迁移学习指标已被提出以回答此问题。但这些指标在现实新环境中的预测准确性如何？我们进行了广泛的评估，涉及超过 42,000 次实验，比较了 23 种 transferability 指标 across 16 个数据集，以评估其预测 transfer 性能的能力。我们的发现表明，现有指标在整体上表现不佳。然而，我们发现，一种简单的 k-最近邻评估——即常用于评估自监督特征质量的方法——不仅超越了现有指标，而且还提供了更好的计算效率和实现便捷性。
引用
@article{arxiv.2503.18528,
title = {k-NN as a Simple and Effective Estimator of Transferability},
author = {Moein Sorkhei and Christos Matsoukas and Johan Fredin Haslum and Emir Konuk and Kevin Smith},
journal= {arXiv preprint arXiv:2503.18528},
year = {2025}
}