并行解码器 Transformer:用于同步并行解码的规划器种子潜在协调
人工智能
2026-03-10 v2 计算与语言
摘要
自回归语言模型通常能够识别并行子问题,但标准解码仅暴露单一的从左至右输出接口。外部编排方法可以并发启动多个提示,但它们不提供模型内部状态供这些生成过程进行同步、解决所有权归属或等待缺失信息。我们提出了并行解码器 Transformer(PDT),一种冻结主干架构,它通过规划器种子潜在工作空间和同步多流输出协议来增强解码器。在任何流发出 token 之前,一个强制的提示时规划器会预测固定的潜在规划槽位,并将其作为快照 0 投影到仅含嵌入的动态笔记总线上。在解码期间,每个流通过推测性笔记条件(SNC)读取可见笔记窗口,发出临时 token 块和潜在摘要,并且仅当一致性逻辑判定当前共享状态足以继续并行生成时才向前推进。覆盖头追踪规划项所有权,而回滚机制则处理不一致或过早的提交。因此,PDT 将并行任务分解从外部提示策略转变为冻结语言模型输出接口上的模型内部协调机制。
关键词
引用
@article{arxiv.2512.10054,
title = {Parallel Decoder Transformer: Planner-Seeded Latent Coordination for Synchronized Parallel Decoding},
author = {Logan Robbins},
journal= {arXiv preprint arXiv:2512.10054},
year = {2026}
}
备注
Note: Updated to reflect revised architecture