模型平衡助力低数据训练与微调
机器学习
2024-10-17 v1 机器学习
摘要
近期的基础模型研究强调了通过小型精选数据集将预训练模型与特定领域对齐的必要性。关于这些基础模型的研究均强调低数据训练和微调的重要性。这一主题在自然语言处理(NLP)中已为人所知，也在新兴的科学机器学习(SciML)领域日益受到关注。为解决低数据训练和微调的局限性，我们借鉴了重尾自正则化(HT-SR)理论，分析了经验谱密度(ESD)的形状，揭示了不同模型层训练质量之间的不平衡。为缓解此问题，我们采用了最近提出的层级学习率调度器TempBalance，有效平衡了各层的训练质量，提升了NLP和SciML任务中低数据训练和微调的效果。值得注意的是，随着可用调优数据的增加，TempBalance的性能优势也随之提升。对比分析进一步凸显了TempBalance的有效性及其作为一种“可添加”方法提升模型性能的适应性。
关键词
引用
@article{arxiv.2410.12178,
title = {Model Balancing Helps Low-data Training and Fine-tuning},
author = {Zihang Liu and Yuanzhe Hu and Tianyu Pang and Yefan Zhou and Pu Ren and Yaoqing Yang},
journal= {arXiv preprint arXiv:2410.12178},
year = {2024}
}
备注
EMNLP 2024 Oral. First two authors contributed equally