打破自回归链：高并行解码以提高 LLM 在属性值抽取任务中的效率

某些文本生成任务，如属性值抽取 (AVE)，需要从同一文档上下文中解码多个独立序列。虽然标准的自回归解码因其顺序性质而效率低下，但输出序列之间的独立性为并行化提供了机会。我们提出了超并行解码 (Hyper-Parallel Decoding, HPD)，一种新颖的解码算法，通过利用批次之间共享的内存和计算，实现离线解码的加速。HPD 通过位置 ID 操控实现了无序 token 生成，显著提高了效率。实验表明，属性值对在条件上是独立的，这使我们能够在每个提示中并行化值生成。通过在单个提示中进一步堆叠多个文档，我们可以每提示并行解码最高达 96 个 token。HPD 可与所有 LLM 配合使用，在不牺牲输出质量的前提下，将推理成本和总推理时间降低最高可达 13.8 倍， potentially 为行业 AVE 任务节省数十万美元。虽然为属性抽取而设计，但 HPD 对 AVE 领域的独特假设没有任何限制，理论上可应用于具有独立输出结构的其他场景。