CoBa：大型语言模型多任务微调的收敛平衡器
计算与语言
2024-10-29 v2 机器学习
摘要
多任务学习（MTL）通过为大型语言模型（LLM）提供单一模型即可获得改进的性能和泛化能力，作为开发每个任务独立模型的资源高效替代方案。然而，现有的LLM多任务策略往往在计算密集或无法确保所有任务同时收敛方面不足。本文提出CoBa，这是一种新的MTL方法，旨在以最小计算开销有效管理任务收敛平衡。利用相对收敛得分（RCS）、绝对收敛得分（ACS）和发散因子（DF），CoBa在训练过程中动态调整任务权重，确保所有任务的验证损失以均匀速度趋于收敛，同时缓解单个任务发散问题。我们对三个截然不同的数据集的实验结果表明，该方法不仅促进了任务收敛的平衡，还使LLM性能提升了最高13%。代码已开源于https://github.com/codefuse-ai/MFTCoder。
引用
@article{arxiv.2410.06741,
title = {CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models},
author = {Zi Gong and Hang Yu and Cong Liao and Bingchang Liu and Chaoyu Chen and Jianguo Li},
journal= {arXiv preprint arXiv:2410.06741},
year = {2024}
}
备注
15 pages, main conference of EMNLP 2024