第二届 FutureDIAL 挑战赛：基于检索增强生成的对话系统 (FutureDIAL-RAG)
计算与语言
2024-09-17 v2 人工智能
摘要
近期，越来越多的研究关注检索增强生成（RAG），以缓解大型语言模型（LLM）的幻觉问题。顺应这一趋势，我们在 SLT 2024 上发起了 FutureDIAL-RAG 挑战赛，旨在促进针对对话系统的 RAG 研究。该挑战赛建立在 MobileCS2 数据集之上，这是一个真实的客户服务数据集，包含近 3000 个高质量对话，并带有知识库查询及对应结果的标注。基于该数据集，我们定义了两个任务：赛道 1 为知识检索，赛道 2 为响应生成，这是基于 RAG 的对话系统中的核心研究问题。我们为这两个赛道构建了基线系统，并设计了评估指标以衡量系统是否能进行准确检索并生成信息丰富且连贯的响应。基线结果表明，在这两个任务上取得良好表现极具挑战性，这鼓励了参赛团队和社区研究如何更好地将 RAG 应用于真实对话系统。
引用
@article{arxiv.2405.13084,
title = {The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG)},
author = {Yucheng Cai and Si Chen and Yuxuan Wu and Yi Huang and Junlan Feng and Zhijian Ou},
journal= {arXiv preprint arXiv:2405.13084},
year = {2024}
}
备注
Accepted by SLT 2024