去中心化自回归生成
机器学习
2026-01-14 v2 人工智能
摘要
我们对去中心化自回归生成进行了理论分析。我们定义了去中心化离散流匹配目标，通过将概率生成速度表示为专家流的线性组合。我们还进行了实验，表明在多模态语言模型中，去中心化与集中化训练在广泛的基准测试中等价。具体而言，我们比较了两种不同的范式：LLaVA 和 InternVL 2.5-1B，这两种方法使用固定的 CLIP 视觉编码器，并在指令调谐阶段进行完整参数微调 (ViT+MLP+LLM)。
引用
@article{arxiv.2601.03184,
title = {Decentralized Autoregressive Generation},
author = {Stepan Maschan and Haoxuan Qu and Jun Liu},
journal= {arXiv preprint arXiv:2601.03184},
year = {2026}
}
备注
Work in progress