知识密集型环境中的对话助手：基于 LLM 与基于意图系统的评估
人机交互
2024-07-15 v2 人工智能
摘要
对话助手 (CA) 正越来越多地支持人类工作者进行知识管理。传统上，CA 针对预定义的用户意图和对话模式以特定方式响应。然而，这种僵硬性无法很好地处理自然语言的多样性。自然语言处理的最新进展，即大语言模型 (LLMs)，使 CA 能够以更灵活、类人的方式进行对话，从文本中提取相关信息并捕捉专家人类的信息，但也引入了诸如“幻觉”等新挑战。为了评估在知识管理任务中使用 LLMs 的潜力，我们进行了一项用户研究，比较了基于 LLM 的 CA 与基于意图的系统在交互效率、用户体验、工作负荷和可用性方面的表现。结果显示，基于 LLM 的 CA 在用户体验、任务完成率、可用性和感知性能方面均优于基于意图的系统，这表明在知识管理背景下切换 NLP 技术可能是有益的。
引用
@article{arxiv.2402.04955,
title = {Conversational Assistants in Knowledge-Intensive Contexts: An Evaluation of LLM- versus Intent-based Systems},
author = {Samuel Kernan Freire and Chaofan Wang and Evangelos Niforatos},
journal= {arXiv preprint arXiv:2402.04955},
year = {2024}
}
备注
10 pages, 7 figures