CoDA：基于扩散适应的代码语言模型
机器学习
2025-10-07 v1 人工智能
摘要
扩散语言模型承诺具备 autoregressive 编码器所缺乏的双向上下文和填充能力，但实际系统仍笨重。我们提出 CoDA，一个 17 亿参数的扩散编码器，在 TPU 上进行全开源训练。CoDA 将大规模扩散预训练与代码导向的中期训练和指令调优相结合，实现置信度引导的采样，保持推理延迟的竞争性能。在 Humaneval、MBPP 和 EvalPlus 上，CoDA-1.7B-Instruct 能够匹配甚至超越最高达 70 亿参数的扩散模型。我们的发布包括模型检查点、评估工具和 TPU 训练管道，以加速轻量级基于扩散的编码助手的研究。
引用
@article{arxiv.2510.03270,
title = {CoDA: Coding LM via Diffusion Adaptation},
author = {Haolin Chen and Shiyu Wang and Can Qin and Bo Pang and Zuxin Liu and Jielin Qiu and Jianguo Zhang and Yingbo Zhou and Zeyuan Chen and Ran Xu and Shelby Heinecke and Silvio Savarese and Caiming Xiong and Huan Wang and Weiran Yao},
journal= {arXiv preprint arXiv:2510.03270},
year = {2025}
}