使用大语言模型生成、验证与应用用户意图分类法
信息检索
2024-05-13 v3 人工智能
计算与语言
摘要
日志数据能够揭示有关用户如何与Web搜索服务交互、他们想要什么以及满意度如何的宝贵信息。然而，分析日志数据中的用户意图并非易事，尤其是对于AI驱动聊天等新兴形式的Web搜索。为从日志数据中理解用户意图，我们需要一种以有意义类别标注它们的方法，以捕捉其多样性与动态性。现有方法依赖人工或机器学习的标注，对于大规模动态数据集而言，要么昂贵要么不灵活。我们提出一种使用大语言模型（LLM）的新方案，其能为用户意图生成丰富且相关的概念、描述与示例。然而，使用LLM生成用户意图分类法并将其应用于日志分析可能存在两个问题：（1）此类分类法未经外部验证；（2）可能存在不良的反馈循环。为此，我们提出一种由人类专家与评估者验证LLM生成分类法质量的新方法论。我们还呈现了一个端到端流水线，使用带人在回路的LLM来为日志数据中的用户意图分析生成、精炼并应用标签。我们通过从Microsoft Bing商业搜索引擎的搜索与聊天日志中揭示用户意图的新洞见，展示了其有效性。所提工作的新颖性源于以强验证生成目的驱动的用户意图分类法的方法。该方法不仅有助于消除意图导向研究中的方法论与实践瓶颈，也提供了一种以合理人力投入可扩展、可适配地生成、验证与应用其他类型分类法的新框架。
引用
@article{arxiv.2309.13063,
title = {Using Large Language Models to Generate, Validate, and Apply User Intent Taxonomies},
author = {Chirag Shah and Ryen W. White and Reid Andersen and Georg Buscher and Scott Counts and Sarkar Snigdha Sarathi Das and Ali Montazer and Sathish Manivannan and Jennifer Neville and Xiaochuan Ni and Nagu Rangan and Tara Safavi and Siddharth Suri and Mengting Wan and Leijie Wang and Longqi Yang},
journal= {arXiv preprint arXiv:2309.13063},
year = {2024}
}