面向自回归语言模型且具有同步并行解码的快速鲁棒早退出框架
计算与语言
2023-10-10 v1
摘要
为应对自回归语言模型表现出的高推理延迟，先前研究提出了早退出框架，其基于生成后续词元的复杂度为每个词元分配自适应计算路径。然而，我们观察到若干缺陷，包括由状态复制机制或众多退出路径引起的性能退化，以及对退出置信度阈值的敏感性。为此，我们提出快速鲁棒早退出(FREE)框架，其结合了浅-深模块与同步并行解码。我们的框架通过使当前词元的解码与先前堆叠的早退出词元同步，实现更快推理。此外，由于并行解码使我们能观察浅层与深层模型的预测，我们提出一种利用 Beta 混合模型确定合适置信度阈值的新型自适应阈值估计器。我们在广泛的生成任务上实证展示了所提框架的优越性。
引用
@article{arxiv.2310.05424,
title = {Fast and Robust Early-Exiting Framework for Autoregressive Language Models with Synchronized Parallel Decoding},
author = {Sangmin Bae and Jongwoo Ko and Hwanjun Song and Se-Young Yun},
journal= {arXiv preprint arXiv:2310.05424},
year = {2023}
}
备注
EMNLP 2023 (Long)