VersaTune：一种用于训练多能力大语言模型的高效数据组合框架
计算与语言
2025-05-20 v5
摘要
正如GPT和Claude系列等专有大语言模型（LLM）所展示的，LLM有潜力在包括法律、医学、金融、科学、代码等广泛领域内实现卓越的能力，所有这些都在一个模型中。这些能力在监督微调（SFT）阶段进一步增强。尽管有潜力，现有工作主要关注微调期间的领域特定增强，其挑战在于跨其他领域的知识灾难性遗忘。在本研究中，我们引入了**VersaTune**，一种新颖的数据组合框架，旨在训练期间增强LLM的整体多领域能力。我们首先检测基础模型内领域特定知识的分布，然后进行与模型现有知识分布对齐的训练数据组合。在随后的训练过程中，领域权重根据其可学习潜力和遗忘程度动态调整。实验结果表明，VersaTune在多领域培养中有效，与均匀领域权重相比，整体多能力性能提升了35.21%。此外，我们发现Qwen-2.5-32B + VersaTune甚至超越了前沿模型，包括GPT-4o、Claude3.5-Sonnet和DeepSeek-V3，分别高出0.86%、4.76%和4.60%。此外，在需要灵活扩展特定领域的场景中，VersaTune将其他领域的性能下降减少了38.77%，同时保持了目标领域的训练效果。
引用
@article{arxiv.2411.11266,
title = {VersaTune: An Efficient Data Composition Framework for Training Multi-Capability LLMs},
author = {Keer Lu and Keshi Zhao and Zhuoran Zhang and Zheng Liang and Da Pan and Shusen Zhang and Xin Wu and Guosheng Dong and Bin Cui and Tengjiao Wang and Wentao Zhang},
journal= {arXiv preprint arXiv:2411.11266},
year = {2025}
}