InfiGFusion：基于高斯-鲍尔斯坦的高效图在logits蒸馏模型融合
计算与语言
2026-05-25 v2
摘要
近期大语言模型（LLM）的进展加剧了将异构开源模型融合为统一系统的努力，以继承其互补优势。现有的基于logits的融合方法在保持推理效率方面表现良好，但将词汇维度独立处理，忽略了跨维度相互作用编码的语义依赖。这些依赖反映了在模型内部推理中，不同token类型如何相互作用，对与不同生成行为的模型对齐至关重要。为显式建模这些依赖，我们提出了\textbf{InfiGFusion}，首个具结构感知的融合框架，引入新颖的“图在logits蒸馏”（GLD）损失。具体而言，我们保留每个输出的top-k个logits，聚合其在序列位置上的外积，以形成全局共激活图，其中节点代表词汇通道，边量化其共同激活。为确保可扩展性和效率，我们设计一种基于排序的闭形式近似方法，将高斯-鲍尔斯坦距离的原始O(n^4)计算成本降低至O(n log n)，并提供可证明的近似保证。跨多个融合设置的实验表明，GLD consistently提高了融合质量和稳定性。InfiGFusion在11个基准（涵盖推理、编码和数学）中超越SOTA模型和融合基线，尤其在复杂推理任务中表现突出，相较于SFT在多步骤算术中提升+35.6，在因果判断中提升+37.06，显示出卓越的多步骤和关系推理能力。
引用
@article{arxiv.2505.13893,
title = {InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion},
author = {Yuanyi Wang and Zhaoyi Yan and Yiming Zhang and Qi Zhou and Yanggan Gu and Fei Wu and Hongxia Yang},
journal= {arXiv preprint arXiv:2505.13893},
year = {2026}
}