SyllabusQA：一个课程事务问答数据集

自动化教学助手和聊天机器人具有显著减轻人类教师工作量的潜力，尤其是在事务相关问答方面，这对学生很重要但对教师而言却很重复。然而，由于隐私担忧，缺乏公开可用的数据集。我们引入了SyllabusQA，一个开源数据集，包含涵盖36个专业的63份真实课程大纲，以及5,078个开放式课程事务相关的问答对，这些问题在问题类型和答案格式上均具有多样性。由于许多事务相关问题包含诸如考试日期等关键信息，评估答案的事实性非常重要。我们在该任务上对几个强基线模型进行了基准测试，涵盖从大语言模型提示到检索增强生成的方法。我们引入了Fact-QA，一种基于LLM（GPT-4）的评估指标，用于评估预测答案的事实性。我们发现，尽管在传统的文本相似性指标上表现接近人类，但在事实精确度方面，自动化方法与人类之间仍存在显著差距。