通过改进评估协议对预训练模型的少样本迁移能力进行基准测试
机器学习
2026-03-03 v1 计算机视觉与模式识别
摘要
少样本迁移已被更强的预训练模型和改进的适应算法所推动。然而，缺乏一个在挑战现实世界用例的同时又严谨可靠的统一评估协议。本文建立了 FEWTRANS，一个包含 10 个多样化数据集的全面基准，提出了超参数集成（HPE）协议以克服数据稀缺情境下的“验证集幻觉”。我们的实证发现表明，预训练模型的选择是性能的决定性因素，而许多精细的迁移方法相对于简单的全参数微调基线几乎没有实际优势。为解释这一意想不到的有效性，我们提供了深入的机制分析，表明全参数微调通过分布式微调和更灵活的高层语义呈现重塑而成功，同时不受过拟合的制约。此外，我们量化了多模态模型在特定领域因语言稀有性导致的性能崩溃。通过发布 FEWTRANS，我们旨在提供一个严谨的“尺子”，以简化可复现的少样本迁移学习研究的进展。我们将 FEWTRANS benchmark 公开于 https://github.com/Frankluox/FewTrans。
引用
@article{arxiv.2603.00478,
title = {Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols},
author = {Xu Luo and Ji Zhang and Lianli Gao and Heng Tao Shen and Jingkuan Song},
journal= {arXiv preprint arXiv:2603.00478},
year = {2026}
}
备注
13 pages