并非所有模型都平等：在自挑战费舍尔空间中预测模型可迁移性
机器学习
2022-07-20 v2 人工智能
摘要
本文解决了一个重要问题：对预训练的深度神经网络进行排序，并筛选出对于下游任务最具可迁移性的网络。这具有挑战性，因为每个任务的真实模型排序只能通过在目标数据集上微调预训练模型来生成，这是一种暴力且计算成本高昂的方法。近期先进的方法提出了几种轻量级的可迁移性度量指标来预测微调结果。然而，这些方法仅捕获静态表示，而忽略了微调动态。为此，本文提出了一种新的可迁移性度量指标，称为自挑战费舍尔判别分析（SFDA），它具有现有工作所不具备的许多吸引人的优点。首先，SFDA可以将静态特征嵌入到费舍尔空间中，并对其进行细化，以获得更好的类间可分性。其次，SFDA使用一种自挑战机制，鼓励不同的预训练模型在困难样本上进行区分。第三，SFDA可以轻松选择多个预训练模型进行模型集成。在33个预训练模型和11个下游任务上的大量实验表明，SFDA在衡量预训练模型的可迁移性时是高效、有效且鲁棒的。例如，与最先进的方法NLEEP相比，SFDA在平均性能上提升了59.1%，同时在实际运行时间上带来了22.5倍的加速。代码将公开于 https://github.com/TencentARC/SFDA。
引用
@article{arxiv.2207.03036,
title = {Not All Models Are Equal: Predicting Model Transferability in a Self-challenging Fisher Space},
author = {Wenqi Shao and Xun Zhao and Yixiao Ge and Zhaoyang Zhang and Lei Yang and Xiaogang Wang and Ying Shan and Ping Luo},
journal= {arXiv preprint arXiv:2207.03036},
year = {2022}
}
备注
ECCV 2022 camera ready. 24 pages, 11 tables, 5 figures