Clover-2：用于回归式轻量推测解码的精确推理
计算与语言
2024-08-02 v1 人工智能
机器学习
摘要
大语言模型（LLM）经常遭受效率低下，这主要归因于自回归解码的要求与当代 GPU 架构之间的不一致。最近，回归式轻量推测解码因其在文本生成任务中的显著效率提升而受到关注。该方法利用轻量回归式草稿模型，如循环神经网络（RNN）或单个 transformer 解码器层，利用序列信息迭代预测可能的标记。具体而言，RNN 草稿模型计算成本低但精度较低，而注意力解码器层模型则表现出相反的特性。本文提出了 Clover-2，即 Clover 的进阶版本，一个基于 RNN 的草稿模型，旨在达到与注意力解码器层模型相当的精度，同时保持最小的计算开销。Clover-2 改进了模型架构并结合了知识蒸馏以提高 Clover 的准确性和整体效率。我们使用开源的 Vicuna 7B 和 LLaMA3-Instruct 8B 模型进行了实验。结果表明，Clover-2 在各种模型架构上超越了现有方法，展示了其有效性和鲁棒性。
引用
@article{arxiv.2408.00264,
title = {Clover-2: Accurate Inference for Regressive Lightweight Speculative Decoding},
author = {Bin Xiao and Lujun Gui and Lei Su and Weipeng Chen},
journal= {arXiv preprint arXiv:2408.00264},
year = {2024}
}