首届中文人机对话技术评测
计算与语言
2019-12-03 v2
摘要
本文介绍了首届中文人机对话技术评测。我们详细介绍了评测方案、任务、指标以及如何收集和标注用于训练、开发和测试的数据。评测包括两项任务，即用户意图分类和面向任务对话的在线测试。考虑到训练和开发数据的来源不同，第一项任务还可分为两个子任务。这两项任务均来源于工业界开发的应用在实际使用中的真实问题。评测数据由科大讯飞提供。同时，本文公布了评测结果，以展示参与者在中文人机对话技术两项任务中的当前表现。此外，我们分析了人机对话以及评测方案本身存在的问题。
引用
@article{arxiv.1709.10217,
title = {The First Evaluation of Chinese Human-Computer Dialogue Technology},
author = {Wei-Nan Zhang and Zhigang Chen and Wanxiang Che and Guoping Hu and Ting Liu},
journal= {arXiv preprint arXiv:1709.10217},
year = {2019}
}