以随机应对随机：利用延迟集成与带噪插值缓解微调优化不稳定性
计算与语言
2024-12-03 v2
摘要
虽然对预训练语言模型进行微调通常有助于克服缺乏标注训练样本的问题，但其模型性能仍呈现不稳定现象。这一不稳定性主要源于初始化随机性或数据洗牌的随机性。为此，研究人员通常通过修改训练过程或增量可用样本来解决此问题，这些方法通常会导致计算成本的增加。我们提出了一种新的缓解策略，称为延迟集成与带噪插值（DENI），它利用了集成、噪声正则化和模型插值等技术的优势，同时保持计算效率。我们将DENI与9种代表性缓解策略进行比较，涵盖3种模型、4种微调策略和7个文本分类数据集。我们展示了：1）DENI在不使用其成本的情况下，优于最佳缓解策略（集成）；2）缓解策略对参数高效微调（PEFT）方法也有益处，在特定情况下可超过完全微调；3）将DENI与数据增强结合通常会导致更有效的不稳定性缓解。
引用
@article{arxiv.2406.12471,
title = {Fighting Randomness with Randomness: Mitigating Optimisation Instability of Fine-Tuning using Delayed Ensemble and Noisy Interpolation},
author = {Branislav Pecher and Jan Cegin and Robert Belanec and Jakub Simko and Ivan Srba and Maria Bielikova},
journal= {arXiv preprint arXiv:2406.12471},
year = {2024}
}
备注
Accepted to the Findings of the EMNLP'24 Conference