FourierNAT：一种基于 Fourier 混合的非自回归 Transformer 用于并行序列生成

我们提出了 FourierNAT，这是一种新的非自回归 Transformer（NAT）架构，在解码器中采用基于 Fourier 的混合方法以并行方式生成输出序列。虽然传统的 NAT 方法常面临捕获全局依赖性的挑战，但我们的方法利用离散傅里叶变换对整个序列维度上的 token 嵌入进行混合，配合学习的频域门控。这允许模型在无需显式自回归步骤的情况下有效地传播上下文。经验上，FourierNAT 在标准基准如 WMT 机器翻译和 CNN/DailyMail 总结任务上取得与领先 NAT 基线相当的成绩，相对于自回归 Transformer 提供了显著的速度优势。我们进一步展示，学习的频域参数允许模型在自适应地聚焦于长程或短程依赖，部分缓解了单次 NAT 生成中众所周知的连贯性差距。总体而言，FourierNAT 凸显了将谱域操作集成用于加速和改进并行文本生成的潜力。该方法可能在推理任务中为大语言模型（LLMs）提供巨大的计算和时间节省。