访问集合至关重要:基于预算的可扩展权重空间模型合并
机器学习
2026-05-29 v1 系统与控制
系统与控制
摘要
权重空间模型合并通常被形式化为对 checkpoint 的代数运算,但在 LLM 规模下,限制资源往往是必须读取的 expert 权重集合。我们提出 MergePipe,一个面向预算的执行层,将 LLM 合并建模为 \emph{expert access-set} 问题:给定合并算子和在共享权重坐标系中的 checkpoint 家族,在明确的 I/O 预算下,选择访问哪些 expert delta 块。MergePipe 对参数块进行索引,构建确定性访问计划,并执行由此引发的预算化合并。该计划在构建时即具有预算安全性,在完整预算下恢复完整读取合并;对于固定系数加法运算符,被省略更新的误差由被省略 delta 的范数所界定。在 Qwen 和 Llama 合并工作负载中,MergePipe 将 expert-read I/O 降低最高可达一个数量级,实现最高可达 的加速。 representative 预算扫描显示,与完整读取合并相比,参数偏差可低至 ,且在下游基准上不出现单调性能下降。
引用
@article{arxiv.2605.29489,
title = {Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging},
author = {Yuanyi Wang and Yanggan Gu and Su Lu and Yifan Yang and Zhaoyi Yan and Congkai Xie and Jianmin Wu and Hongxia Yang},
journal= {arXiv preprint arXiv:2605.29489},
year = {2026}
}
备注
ICML 2026 Workshop on Weight-Space Symmetries: from Foundations to Practical Applications