FutureFill：基于卷积序列模型的快速生成
机器学习
2025-06-24 v3 人工智能
计算与语言
摘要
我们解决了在序列预测模型中实现高效自回归生成的挑战，通过引入 FutureFill 方法，为任何基于卷积运算的序列预测算法提供通用的快速生成方案。FutureFill 将生成时间从二次方降低到准线性（相对于上下文长度）。此外，在生成提示时，它只需要一个预填充缓存，其大小仅随要生成的标记数而增长，通常远小于标准卷积或注意力机制模型所需的缓存。我们通过在人工合成任务上的实验验证了理论主张，并在深度卷积序列预测模型上实现了显著的效率提升。
关键词
引用
@article{arxiv.2410.03766,
title = {FutureFill: Fast Generation from Convolutional Sequence Models},
author = {Naman Agarwal and Xinyi Chen and Evan Dogariu and Devan Shah and Hubert Strauss and Vlad Feinberg and Daniel Suo and Peter Bartlett and Elad Hazan},
journal= {arXiv preprint arXiv:2410.03766},
year = {2025}
}