新未必更优：重新审视可迁移性度量及其特性、稳定性与性能
机器学习
2023-05-29 v3
摘要
在小型定制数据集上微调大型预训练图像与语言模型，因能提升预测性能并高效利用有限资源而日益流行。微调需识别最佳迁移学习模型，而量化可迁移性可避免对所有候选模型/任务对进行昂贵的重训练。本文中，我们指出协方差估计的统计问题导致了常见基线 H-score（较新度量的基线）性能不佳，并提出了基于收缩的估计量。这使 H-score 相关性性能绝对提升高达 80%，使其可与最先进的 LogME 度量相竞争。我们的基于收缩的 H-score 计算速度比 LogME 快 –10。此外，我们考察了较少被关注的（相对于源任务的）目标任务选择设定。我们揭示了近期一些度量（如 NCE、LEEP）在此类具有不同标签数、类别不平衡比等设定中被忽视的问题，导致其被误认为领先度量。我们提出一种修正方法，并建议在对此类设定衡量相关性性能时，针对相对精度进行测量。我们通过约 164,000 次（微调试验）在视觉模型与图神经网络上的实验支持了我们的发现。
引用
@article{arxiv.2110.06893,
title = {Newer is not always better: Rethinking transferability metrics, their peculiarities, stability and performance},
author = {Shibal Ibrahim and Natalia Ponomareva and Rahul Mazumder},
journal= {arXiv preprint arXiv:2110.06893},
year = {2023}
}
备注
Accepted in ECMLPKDD 2022