隐式建模：视觉基础模型的迁移性估计
计算机视觉与模式识别
2025-10-28 v1
摘要
迁移性估计通过无需进行完整微调即可识别最佳预训练模型，以降低高计算成本，促进部署并推动预训练和微调范式的发展。然而，现有方法常常难以准确评估新兴预训练模型的迁移性，这些模型具有多样的架构、训练策略和任务对齐方式。本文提出了一种名为隐式迁移性建模（ITM）的新型框架，通过隐式建模每个模型的内在迁移性，并结合划分-并行变分近似（DVA）策略高效近似嵌入空间的演化。这种设计使其能够在更广泛的模型和下游任务范围内实现泛化。实验在综合基准测试上进行，涵盖大规模训练 regimes 和更广泛的模型类型，结果表明 ITM 在稳定性、有效性和效率方面均优于现有方法。
引用
@article{arxiv.2510.23145,
title = {Implicit Modeling for Transferability Estimation of Vision Foundation Models},
author = {Yaoyan Zheng and Huiqun Wang and Nan Zhou and Di Huang},
journal= {arXiv preprint arXiv:2510.23145},
year = {2025}
}
备注
Accepted by NeurIPS 2025