Catch Your Breath: 自适应计算用于自节奏序列生成
计算与语言
2026-05-08 v2 人工智能
摘要
在基础模型的推理时间扩展方法中,基于宽度的扩展方法——通过在输入流中插入 <pause> 标记来延迟模型响应——具有独特优势,既能增加模型表达能力,又在训练和推理时保持高度可并行。现有文献中关于训练模型利用 <pause> 标记的方法依赖于标准交叉熵目标,模型输出仅在暂停序列的最终步骤时读取和评估。这种方法未能为模型自我调节处理或信号准备就绪提供机制,将额外计算步骤视为静态障碍而非可灵活使用的资源。我们提出一种监督损失 Catch Your Breath (CYB),其被建模为顺序决策问题,用于训练模型动态自主地为每个输入 token 调整所需的计算步骤数量。模型通过发出特殊 <don't know> 输出来指示需要额外计算步骤,从而延迟其响应。模型可多次 abstain 以获得更长延迟。我们的实验表明,CYB 在预训练或微调中引入时显著优于标准交叉熵,降低了 perplexity,提升了下游准确率,且无需额外计算或内存开销。
引用
@article{arxiv.2510.13879,
title = {Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production},
author = {Alexandre Galashov and Matt Jones and Rosemary Ke and Yuan Cao and Vaishnavh Nagarajan and Michael C. Mozer},
journal= {arXiv preprint arXiv:2510.13879},
year = {2026}
}