Seed Diffusion：一种具备高速推理能力的大规模扩散语言模型
计算与语言
2025-08-05 v1 机器学习
摘要
我们提出 Seed Diffusion Preview，一种基于离散状态扩散的大规模语言模型，具备卓越的快速推理能力。得益于非顺序的并行生成，离散扩散模型显著加快了推理速度，缓解了逐 token 解码固有的延迟问题，这一点已在近期的工作(如 Mercury Coder、Gemini Diffusion)中得到印证。Seed Diffusion Preview 在 H20 GPU 上达到了 2,146 token/s 的推理速度，同时在一系列标准代码评估基准上保持了具有竞争力的性能，显著快于当前的 Mercury 和 Gemini Diffusion，在代码模型的速度-质量帕累托前沿上树立了新的最优水平。
引用
@article{arxiv.2508.02193,
title = {Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference},
author = {Yuxuan Song and Zheng Zhang and Cheng Luo and Pengyang Gao and Fan Xia and Hao Luo and Zheng Li and Yuehang Yang and Hongli Yu and Xingwei Qu and Yuwei Fu and Jing Su and Ge Zhang and Wenhao Huang and Mingxuan Wang and Lin Yan and Xiaoying Jia and Jingjing Liu and Wei-Ying Ma and Ya-Qin Zhang and Yonghui Wu and Hao Zhou},
journal= {arXiv preprint arXiv:2508.02193},
year = {2025}
}
备注
Demo is available at https://studio.seed.ai/exp/seed_diffusion/; Project page is https://seed.bytedance.com/seed_diffusion