FuseChat-3.0：偏好优化遇上异构模型融合
计算与语言
2025-03-07 v1
摘要
我们介绍FuseChat-3.0，这是一套大型语言模型（LLM），通过整合来自异构源LLM的优势到更紧凑的目标LLM中。我们的源模型包括强大的Gemma-2-27B-it、Mistral-Large-Instruct-2407、Qwen-2.5-72B-Instruct和Llama-3.1-70B-Instruct。对于目标模型，我们关注三个广泛使用的较小变体-Llama-3.1-8B-Instruct、Gemma-2-9B-it和Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct和Llama-3.2-1B-Instruct。为了利用这些源模型的多样化能力，我们开发了针对各种任务和领域的专用数据构建协议。FuseChat-3.0训练管线包括两个关键阶段：（1）监督微调（SFT）以对齐目标和源模型分布，（2）直接偏好优化（DPO）将来自多个源LLM的偏好应用于微调目标模型。 resulting FuseChat-3.0 models在指令遵循、通用知识、数学和编程等任务上均显示出显著的性能提升。如图1所示，以Llama-3.1-8B-Instruct为目标模型，我们的融合方法在14个基准测试中平均提升6.8分。此外，它在指令遵循基准测试AlpacaEval-2和Arena-Hard中分别显示出37.1分和30.1分的显著提升。我们的代码、模型和数据集可在 https://github.com/SLIT-AI/FuseChat-3.0 获取。
引用
@article{arxiv.2503.04222,
title = {FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion},
author = {Ziyi Yang and Fanqi Wan and Longguang Zhong and Canbin Huang and Guosheng Liang and Xiaojun Quan},
journal= {arXiv preprint arXiv:2503.04222},
year = {2025}
}
备注
Technical report