利用指令型大语言模型重写对话性言语
计算与语言
2024-10-11 v1 人工智能
人机交互
信息检索
摘要
近年来，许多研究表明大语言模型 (LLM) 能在诸多 NLP 任务上实现最先进的性能，例如问答、文本摘要、编码和翻译。在某些情况下，LLM 的结果甚至与人类专家相当。这些模型最具颠覆性的创新是其通过零样本或少样本提示完成任务的能力。这一能力已成功用于训练指令型 LLM，通过人类反馈强化学习引导模型直接遵循用户请求。在本文中，我们研究指令型 LLM 在通过重写用户问题来提高对话搜索效果方面的能力。我们研究哪些提示能提供最具信息性的重写言语，从而实现最佳检索性能。在公开可用的 TREC CAST 数据集上进行可重复实验。结果表明，使用指令型 LLM 重写对话性言语，可在 MRR 提升 25.2%、Precision@1 提升 31.7%、NDCG@3 提升 27% 和 Recall@500 提升 11.5% 以上于当前最先进技术。
引用
@article{arxiv.2410.07797,
title = {Rewriting Conversational Utterances with Instructed Large Language Models},
author = {Elnara Galimzhanova and Cristina Ioana Muntean and Franco Maria Nardini and Raffaele Perego and Guido Rocchietti},
journal= {arXiv preprint arXiv:2410.07797},
year = {2024}
}