可迁移性指标评估的稳定性如何？
计算机视觉与模式识别
2022-10-21 v3
摘要
可迁移性指标是一个日益成熟且关注度不断提升的领域，旨在为给定目标数据集选择最合适的源模型提供启发式方法，而无需对所有模型进行微调。然而，现有工作依赖于各论文之间互不相同的自定义实验设置，导致关于哪些可迁移性指标效果最佳的论断不一致。本文通过系统性地构建涵盖 715k 种实验设置变体的大规模研究。我们发现，即便对实验设置做微小改动，也会得出某一可迁移性指标优于另一指标的不同结论。随后，我们提出通过跨大量实验聚合来实现更好的评估，从而得出更稳定的结论。结果表明，在语义分割场景中，LogME 在选择良好源数据集方面具有优势；在图像分类场景中，NLEEP 在选择良好源架构方面具有优势；而 GBC 在判断哪个目标任务从给定源模型中获益最多方面具有优势。然而，没有任何单一可迁移性指标在所有场景中都表现最佳。
引用
@article{arxiv.2204.01403,
title = {How stable are Transferability Metrics evaluations?},
author = {Andrea Agostinelli and Michal Pándy and Jasper Uijlings and Thomas Mensink and Vittorio Ferrari},
journal= {arXiv preprint arXiv:2204.01403},
year = {2022}
}
备注
ECCV 2022