LIFT+:轻量化针对长尾学习的微调
计算机视觉与模式识别
2025-04-21 v1 机器学习
摘要
微调范式在基础模型时代成为解决长尾学习任务的热门方法。然而，微调策略对长尾学习性能的影响尚未得到探索。本文揭示，现有的范式在微调方法方面存在严重误用，在效率和准确性方面仍有显著提升空间。具体而言，我们发现重量级微调(微调大比例模型参数)会导致在尾部类别上产生显著的性能下降，而轻量级微调显示出更佳的有效性。通过全面的理论和实证验证，我们确定这一现象源于重量级微调导致的类别条件分布不一致。基于这一洞见，我们提出了 LIFT+，一种创新的轻量级微调框架，用于优化一致的类别条件。此外，LIFT+ 集成了语义感知初始化、简约数据增强和测试时集成，以增强基础模型的适应性和泛化性。我们的框架提供了一种高效且准确的管道，便于快速收敛和模型紧凑化。广泛的实验表明，LIFT+ 显著减少训练周期（从约100个周期降至≤15个周期）和所学参数（不足1%），同时以显著优势超过最先进的方法。源代码可在 https://github.com/shijxcs/LIFT-plus 查阅。
引用
@article{arxiv.2504.13282,
title = {LIFT+: Lightweight Fine-Tuning for Long-Tail Learning},
author = {Jiang-Xin Shi and Tong Wei and Yu-Feng Li},
journal= {arXiv preprint arXiv:2504.13282},
year = {2025}
}