Training Optimal Large Diffusion Language Models
机器学习
2025-11-06 v2 人工智能
计算与语言
摘要
我们介绍Quokka，这是第一个系统化的扩散语言模型（DLM）尺度规律，涵盖计算受限和数据受限两个 regime，并研究关键的建模和优化设计。Quokka是Chinchilla的好朋友，提供更广泛的应用范围。我们希望这些结果能在DLM训练的短期内提供实际指导，并为整个AI社区带来长期的启发。
引用
@article{arxiv.2510.03280,
title = {Training Optimal Large Diffusion Language Models},
author = {Jinjie Ni and Qian Liu and Chao Du and Longxu Dou and Hang Yan and Zili Wang and Tianyu Pang and Michael Qizhe Shieh},
journal= {arXiv preprint arXiv:2510.03280},
year = {2025}
}