中文

访问集合至关重要:基于预算的可扩展权重空间模型合并

机器学习 2026-05-29 v1 系统与控制 系统与控制

摘要

权重空间模型合并通常被形式化为对 checkpoint 的代数运算,但在 LLM 规模下,限制资源往往是必须读取的 expert 权重集合。我们提出 MergePipe,一个面向预算的执行层,将 LLM 合并建模为 \emph{expert access-set} 问题:给定合并算子和在共享权重坐标系中的 checkpoint 家族,在明确的 I/O 预算下,选择访问哪些 expert delta 块。MergePipe 对参数块进行索引,构建确定性访问计划,并执行由此引发的预算化合并。该计划在构建时即具有预算安全性,在完整预算下恢复完整读取合并;对于固定系数加法运算符,被省略更新的误差由被省略 delta 的范数所界定。在 Qwen 和 Llama 合并工作负载中,MergePipe 将 expert-read I/O 降低最高可达一个数量级,实现最高可达 11×11\times 的加速。 representative 预算扫描显示,与完整读取合并相比,参数偏差可低至 10310^{-3},且在下游基准上不出现单调性能下降。

关键词

引用

@article{arxiv.2605.29489,
  title  = {Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging},
  author = {Yuanyi Wang and Yanggan Gu and Su Lu and Yifan Yang and Zhaoyi Yan and Congkai Xie and Jianmin Wu and Hongxia Yang},
  journal= {arXiv preprint arXiv:2605.29489},
  year   = {2026}
}

备注

ICML 2026 Workshop on Weight-Space Symmetries: from Foundations to Practical Applications