中文

基于 LLM 提示修改与用户反馈的交互式查询生成助手

人工智能 2023-11-21 v1 信息检索

摘要

尽管搜索是获取信息的主要方法,但构建有效查询仍是一项具有挑战性的任务,尤其是在用户不熟悉某个领域、以其他语言搜索文档,或寻找如事件等难以用查询表达复杂信息的情况下。提供感兴趣的样本文档或段落对用户而言可能更容易,然而,此类按例查询场景容易出现概念漂移,并且对查询生成方法高度敏感。本演示展示了使用 LLM 进行交互式操作的互补方法,在查询构建过程的各个阶段辅助并允许用户进行编辑和反馈。所提出的查询生成助手是一种新颖的搜索界面,支持在单语或多语文档集合上进行自动且交互式的查询生成。具体而言,所提出的辅助界面使用户能够精炼由不同 LLM 生成的查询,对检索到的文档或段落提供反馈,并能够将用户反馈作为提示纳入以生成更有效的查询。所提出的界面是探索 LLM 微调与提示用于查询生成的宝贵实验工具,可定性评估检索与排序模型的有效性,并用于开展人机协同(Human-in-the-Loop, HITL)复杂搜索任务实验,在这些任务中用户若无此类辅助则难以构建查询。

关键词

引用

@article{arxiv.2311.11226,
  title  = {An Interactive Query Generation Assistant using LLM-based Prompt Modification and User Feedback},
  author = {Kaustubh D. Dhole and Ramraj Chandradevan and Eugene Agichtein},
  journal= {arXiv preprint arXiv:2311.11226},
  year   = {2023}
}

备注

Intelligence Advanced Research Projects Activity (IARPA) BETTER Research Program