CGoDial：面向中文目标导向对话评估的大规模基准
计算与语言
2022-11-22 v1
摘要
实用对话系统需要处理各种知识源、带噪声的用户表达以及标注数据匮乏等问题。为更好地解决上述问题，我们提出 CGoDial，一个用于多领域目标导向对话（Goal-oriented Dialog）评估的、具挑战性且全面的中文新基准。它共包含 96,763 个对话会话与 574,949 个对话轮次，覆盖三个具有不同知识源的数据集：1) 具有表格式知识的基于槽位的对话（SBD）数据集，2) 具有树形知识的基于流程的对话（FBD）数据集，以及具有候选式知识的基于检索的对话（RBD）数据集。为缩小学术基准与口语对话场景之间的差距，我们通过众包要么从真实对话中收集数据，要么向现有数据集添加口语特征。所提出的实验设置包括使用整个训练集或少样本训练集进行训练、以及使用标准测试集或困难测试子集进行测试的组合，从而能从泛化预测、快速适应性与可靠鲁棒性方面评估模型能力。
引用
@article{arxiv.2211.11617,
title = {CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation},
author = {Yinpei Dai and Wanwei He and Bowen Li and Yuchuan Wu and Zheng Cao and Zhongqi An and Jian Sun and Yongbin Li},
journal= {arXiv preprint arXiv:2211.11617},
year = {2022}
}
备注
EMNLP 2022