自适应分块搜索：大型语言模型的推理时对齐
计算与语言
2025-10-28 v1
摘要
LLM 对齐仍是关键挑战。推理时方法提供了一种灵活的微调替代方案，但其统一的计算资源往往导致对齐次优。我们假设对于许多对齐任务，响应的初始标记在关键性上占比更高。为利用这一原则，我们引入 AdaSearch，这是一种新颖的分块搜索策略。它通过采样计划自适应分配固定的计算预算，聚焦于这些关键标记。我们将 AdaSearch 应用于顺序解码，提出其树搜索版本 AdaBeam。我们的全面评估覆盖八个大型语言模型，证明 AdaSearch 在强大的基于最佳N和微调基准上均表现优异。具体而言，对于无害生成、受控情感生成以及数学推理任务，相对于基于最佳N的方法，胜率提升超过10%。
引用
@article{arxiv.2510.23334,
title = {Adaptive Blockwise Search: Inference-Time Alignment for Large Language Models},
author = {Mohammad Atif Quamar and Mohammad Areeb and Nishant Sharma and Ananth Shreekumar and Jonathan Rosenthal and Muslum Ozgur Ozmen and Mikhail Kuznetsov and Z. Berkay Celik},
journal= {arXiv preprint arXiv:2510.23334},
year = {2025}
}