基于概率电路的快速而富有表达力的多标记预测
机器学习
2025-11-17 v1
摘要
多标记预测(MTP)是加速大型语言模型(LLM)生成的显著策略，包括字节级LLM，这些模型无需标记化但运行缓慢。然而，现有MTP方法常以牺牲表达力为代价，假设未来标记之间相互独立。在本工作中，我们在概率电路(PC)框架内研究了MTP中表达力与延迟之间的权衡。我们的框架称为MTPC，允许通过选择不同的电路架构来编码对未来标记的联合分布，这拓展了诸如(层次)混合模型、隐藏马尔可夫模型和张量网络等经典模型。我们通过为现有的字节级LLM（如EvaByte）进行改装来展示MTPC的有效性。我们的实验表明，与独立性假设下的MTP相比，结合投机解码时，MTPC显著加速了生成，同时保证保留原始验证器LLM的性能。我们还严格研究了在探索MTPC可能参数化时，表达力与延迟之间的最优权衡，包括PC架构和验证器与草稿LLM之间部分层共享。
引用
@article{arxiv.2511.11346,
title = {Fast and Expressive Multi-Token Prediction with Probabilistic Circuits},
author = {Andreas Grivas and Lorenzo Loconte and Emile van Krieken and Piotr Nawrot and Yu Zhao and Euan Wielewski and Pasquale Minervini and Edoardo Ponti and Antonio Vergari},
journal= {arXiv preprint arXiv:2511.11346},
year = {2025}
}