用于高效自回归文本生成的分层跳过解码
计算与语言
2024-03-25 v1 人工智能
摘要
自回归解码策略是预训练语言模型用于文本生成任务的常用方法，而提前退出是加速推理阶段的有效途径。在本工作中，我们提出了一种名为分层跳过解码（Hierarchical Skip Decoding, HSD）的新型解码策略，用于高效的自回归文本生成。与需要额外可训练组件的现有方法不同，HSD 是一种即插即用的方法，适用于自回归文本生成模型。它根据当前序列长度以分层方式自适应地跳过解码层，从而减少计算工作量并分配计算资源。在五个文本生成数据集上使用预训练语言模型进行的综合实验表明，HSD 在平衡效率和文本质量方面具有优势。在跳过近一半层数的情况下，与原始自回归解码相比，HSD 能保持 90% 的文本质量，优于具有竞争力的方法。
引用
@article{arxiv.2403.14919,
title = {Hierarchical Skip Decoding for Efficient Autoregressive Text Generation},
author = {Yunqi Zhu and Xuebing Yang and Yuanyuan Wu and Wensheng Zhang},
journal= {arXiv preprint arXiv:2403.14919},
year = {2024}
}