文本生成中替代下一词预测的方法——综述
计算与语言
2025-09-30 v1 人工智能
摘要
下一词预测（NTP）范式驱动了大语言模型（LLM）的空前成功，但也是其最持久弱点的根源，如长期规划能力差、错误累积和计算效率低下。承认探索 NTP 替代方案日益增长的兴趣，本综述描述了 NTP 替代方案的新兴生态系统。我们将这些方法分为五个主要类别：（1）多词预测，以一个词块而非单个词为目标；（2）先规划后生成，其中在解码前创建一个全局的高层规划来指导词元级解码；（3）潜在推理，将自回归过程本身转移到连续潜在空间中；（4）连续生成方法，通过扩散、匹配流或能量基方法以迭代并行精化替代序贯生成；以及（5）非 Transformer 架构，通过其固有模型结构绕过 NTP。通过综合这些方法的见解，本综述提供了一个分类体系，以指导研究针对词元级生成的已知局限性开发新的变革性自然语言处理模型。
引用
@article{arxiv.2509.24435,
title = {Alternatives To Next Token Prediction In Text Generation -- A Survey},
author = {Charlie Wyatt and Aditya Joshi and Flora Salim},
journal= {arXiv preprint arXiv:2509.24435},
year = {2025}
}