InfiFusion：通过LLM融合增强跨模型推理的统一框架
计算与语言
2025-02-18 v3 计算机视觉与模式识别
摘要
我们介绍了InfiFusion，一个高效的训练流水线，旨在将多个领域专用的大型语言模型(LLM)集成到一个主模型中，有效利用每个源模型的优势。传统的融合方法要么直接合并模型参数，要么依赖具有刚性假设的知识蒸馏，限制了其灵活性和效率。InfiFusion通过使用Top-K选择和Logits标准化增强通用Logits蒸馏(ULD)来克服这些限制。我们提出了两种融合策略：成对融合(InfiFusion)，其中每个源模型的知识被单独蒸馏到主模型中然后合并；以及统一融合(InfiFusion)，其中所有源模型的知识被同时蒸馏到主模型中。InfiFusion在涵盖推理、编码、数学和指令遵循任务的11个广泛使用的基准测试中，优于最先进的模型，如Qwen-2.5-14B-Instruct和Phi-4。值得注意的是，InfiFusion在实现这种优越性能的同时显著降低了计算成本，仅使用160个H800 GPU小时即可完成完整训练，而传统LLM训练通常需要数百万小时。
引用
@article{arxiv.2501.02795,
title = {InfiFusion: A Unified Framework for Enhanced Cross-Model Reasoning via LLM Fusion},
author = {Zhaoyi Yan and Yiming Zhang and Baoyi He and Yuhao Fu and Qi Zhou and Zhijie Sang and Chunlin Ji and Shengyu Zhang and Fei Wu and Hongxia Yang},
journal= {arXiv preprint arXiv:2501.02795},
year = {2025}
}
备注
Significant performance improvements over the previous version; under review;