面向视觉模型微调的非均匀类别级核集选取
机器学习
2025-11-19 v2 人工智能
摘要
核集选取旨在识别出小而高信息量的数据子集，从而实现更高效的模型训练并降低存储开销。近期，这一能力被用于应对大型基础模型微调的挑战，为其高效实用部署提供了直接途径。然而，大多数现有方法基于类别无关策略，导致忽略了不同类别间的显著难度差异，从而使模型在过于简单的或困难的类别之间过度裁剪样本，最终导致数据预算分配次优，影响最终核集性能。为此，我们提出非均匀类别级核集选取框架 (NUCS)，该框架同时集成了类别级与样本级难度。我们提出了一种用于衡量全局类别难度的稳健指标，即每个样本难度得分的修剪后平均值。基于该指标，我们的方法在类别间进行理论依据支持的非均匀数据选取预算分配，同时在类别内部自适应地选择难度范围最优的样本。针对广泛的视觉分类任务进行的大量实验表明，NUCS 在 10 个多样化数据集和预训练模型上均一致优于最先进的方法，实现了卓越的准确率和计算效率，凸显了非均匀类别级选取策略在推动大型基础模型高效微调方面的前景。
引用
@article{arxiv.2504.13234,
title = {Non-Uniform Class-Wise Coreset Selection for Vision Model Fine-tuning},
author = {Hanyu Zhang and Zhen Xing and Ruian He and Wenxuan Yang and Chenxi Ma and Weimin Tan and Bo Yan},
journal= {arXiv preprint arXiv:2504.13234},
year = {2025}
}
备注
13pages