SUN：高效多 LLM 无聚类式分派的下一词预测共享
人工智能
2026-03-04 v1 机器学习
摘要
在多模型 LLM 服务中，解码执行因模型特定资源划分而效率低下：由于无法进行跨模型批处理，内存受限的解码常因 GPU 利用率严重不足，尤其在 workload 不均衡时更为突出。我们提出 Shared Use of Next-token Prediction（SUN），首个实现在无聚类式多 LLM 服务中跨模型共享解码执行的方案。SUN 将仅限解码器的 Transformer 分解为 prefill 模块和 decode 模块，仅对任务特定的 prefill 模块进行微调，使冻结的 decode 模块可跨模型共享。该设计使模型无关的 decode routing 策略能够在共享 worker 之间平衡 decode 请求，以最大化利用率。 在多样化任务和模型族中，SUN 在保持与完全微调相当的准确率的同时，以更少的 decode worker 实现系统吞吐量。特别是，SUN 在常规无聚类式方案的基础上，以最高 2.0 倍的 GPU 吞吐量提升，同时将时间-输出-标记（TPOT）控制在 5% 内。SUN 本身天然地实现并促进低比特解码；采用量化 SUN（QSUN），可实现 45% 的加速，准确率相当于 SUN，同时保持共享解码的优势。
引用
@article{arxiv.2603.02599,
title = {SUN: Shared Use of Next-token Prediction for Efficient Multi-LLM Disaggregated Serving},
author = {Sunghyeon Woo and Ahreum Seo and Jaegwang Lee and Jaeeun Kil and Hanbae Seo and Joonghoon Kim and Baeseong Park and Se Jung Kwon and Dongsoo Lee},
journal= {arXiv preprint arXiv:2603.02599},
year = {2026}
}
备注
Preprint, 15 pages, 5 figures