从问题到有洞察的答案：面向大学资源的知情化聊天机器人构建
新兴技术
2024-05-15 v1 人工智能
摘要
本文提出BARKPLUG V.2，一个基于大型语言模型（LLM）的聊天机器人系统，采用检索增强生成（RAG）管道提升用户体验和学术环境下的信息获取。BARKPLUG V.2的目标是以交互式方式向用户提供关于大学各类资源的信息，包括学术部门、项目、校园设施和学生资源。该系统利用大学数据作为外部语料库，将其摄入RAG管道以进行领域特定的问答任务。我们以密西西比州立大学为案例研究，使用定量措施评估系统在生成准确且切题回答方面的效果，采用检索增强生成评估框架（RAGAS）。此外，我们通过主观满意度调查评估该系统的可用性，采用系统可用性量表（SUS）。该系统在定量性能上表现突出，平均RAGAS得分为0.96，经可用性评估验证后也表现出色。
引用
@article{arxiv.2405.08120,
title = {From Questions to Insightful Answers: Building an Informed Chatbot for University Resources},
author = {Subash Neupane and Elias Hossain and Jason Keith and Himanshu Tripathi and Farbod Ghiasi and Noorbakhsh Amiri Golilarz and Amin Amirlatifi and Sudip Mittal and Shahram Rahimi},
journal= {arXiv preprint arXiv:2405.08120},
year = {2024}
}