代入LLM的角色：通过问题重写器生成更优答案
计算与语言
2025-02-26 v2 人工智能
摘要
大语言模型（LLM）在问答（QA）领域展现了显著能力。然而，用户问题的模糊性常常削弱其在QA中的有效性。为解决这一问题，我们提出了一种单轮实例级提示优化方法，即问题重写器。通过增强人类问题对黑盒LLM的可理解性，我们的问题重写器提升了生成答案的质量。该重写器利用来自自动评估生成答案标准的反馈，通过直接偏好优化进行训练，因此其训练不需要昂贵的人工标注。在多个黑盒LLM和长形式问答（LFQA）数据集上的实验证明了本方法的有效性。本文为训练问题重写器提供了一个实用框架，并为LFQA任务中提示优化的未来探索奠定了先例。代码位于 https://github.com/3244we/Question-Rewriter。
引用
@article{arxiv.2408.10573,
title = {Putting People in LLMs' Shoes: Generating Better Answers via Question Rewriter},
author = {Junhao Chen and Bowen Wang and Zhouqiang Jiang and Yuta Nakashima},
journal= {arXiv preprint arXiv:2408.10573},
year = {2025}
}
备注
7 pages, 4 figures, 5 tables and accepted at AAAI 2025 Main Conference