信息检索任务中课程资料搜索功能与检索增强生成大语言模型（RAG-LLM）AI聊天机器人的效用、偏好与性能比较
计算机与社会
2024-10-18 v1 信息检索
摘要
为学生提供足够的支持需要大量的资源，尤其是在学生人数不断增长的背景下。学生在各种任务中需要帮助，从信息检索到课程作业支持。为探索大语言模型（LLM）作为支持机制的效用，我们开发了一个由LLM驱动的AI聊天机器人，它利用课程材料中的信息来增强生成的答案。为研究该LLM驱动的AI聊天机器人的效用，我们进行了一项实验室用户研究（N=14），参与者在网络开发课程中完成任务。参与者被分为两组，一组先使用聊天机器人，然后使用更传统的搜索功能；另一组则先使用搜索功能，再使用聊天机器人。我们评估了参与者对聊天机器人和搜索功能的性能表现和看法，并探讨了他们对这两种支持功能的偏好。我们的研究结果表明，这两种支持机制都被认为是有用的，并且对于特定任务效果良好，而对于其他任务效果则稍逊。我们还观察到，学生倾向于更喜欢后接触到的支持机制，即先使用聊天机器人的学生更偏好搜索功能，反之亦然。
关键词
引用
@article{arxiv.2410.13326,
title = {Comparing the Utility, Preference, and Performance of Course Material Search Functionality and Retrieval-Augmented Generation Large Language Model (RAG-LLM) AI Chatbots in Information-Seeking Tasks},
author = {Leonardo Pasquarelli and Charles Koutcheme and Arto Hellas},
journal= {arXiv preprint arXiv:2410.13326},
year = {2024}
}
备注
12 pages, 4 figures