面向大语言模型高效问答的动态策略规划
计算与语言
2025-02-11 v2 人工智能
机器学习
摘要
研究表明，推理（如思维链）、规划（如 SelfAsk）和检索增强生成策略能有效提升大语言模型（LLMs）在问答等多种任务上的表现。然而，使用单一固定策略来回答不同类型的问题，在性能上并非最优，且在生成的输出 token 和执行的检索方面效率低下。在本工作中，我们提出了一种名为 DyPlan 的新技术，旨在引导 LLM 进行动态策略选择，以提高问答性能并降低成本。DyPlan 包含一个初始决策步骤，根据输入问题选择最合适的策略，并据此指导 LLM 的响应生成。我们将 DyPlan 扩展为 DyPlan-verify，增加了一个内部验证与修正过程，以进一步丰富生成的答案。在三个重要的多跳问答（MHQA）数据集上的实验表明，与最佳基线模型相比，DyPlan 能将模型性能提升 7-13%，同时将成本降低 11-32%。
引用
@article{arxiv.2410.23511,
title = {Dynamic Strategy Planning for Efficient Question Answering with Large Language Models},
author = {Tanmay Parekh and Pradyot Prakash and Alexander Radovic and Akshay Shekher and Denis Savenkov},
journal= {arXiv preprint arXiv:2410.23511},
year = {2025}
}
备注
Accepted at NAACL 2025 Findings