通过推测拒绝实现快速 Best-of-N 解码
计算与语言
2024-11-04 v2
摘要
大型语言模型（LLM）的安全有效部署涉及一个称为对齐的关键步骤，该步骤确保模型的响应符合人类偏好。流行的对齐技术，如 DPO、PPO 及其变体，通过在称为后训练的阶段更改预训练模型权重来对齐 LLM。尽管这些后训练方法占主导地位，但它们在 LLM 部署前增加了大量复杂性。推理时对齐方法避免了复杂的后训练步骤，而是将生成偏向于与人类偏好对齐的响应。最著名的推理时对齐方法称为 Best-of-N，与最先进的后训练过程一样有效。不幸的是，Best-of-N 在推理时比标准解码策略需要多得多的资源，这使其在计算上不可行。在这项工作中，我们引入了 Speculative Rejection，一种在计算上可行的推理时对齐算法。它像 Best-of-N 一样根据给定的奖励模型生成高分响应，同时在计算效率上提高了 16 到 32 倍。
关键词
引用
@article{arxiv.2410.20290,
title = {Fast Best-of-N Decoding via Speculative Rejection},
author = {Hanshi Sun and Momin Haider and Ruiqi Zhang and Huitao Yang and Jiahao Qiu and Ming Yin and Mengdi Wang and Peter Bartlett and Andrea Zanette},
journal= {arXiv preprint arXiv:2410.20290},
year = {2024}
}
备注
NeurIPS 2024