TicketTalk：迈向端到端、基于交易的类人水平对话系统
计算与语言
2020-12-29 v2
摘要
我们提出一种数据驱动、端到端的基于交易的对话系统方法，其在言语响应质量与事实依据准确性方面达到接近人类水平。我们表明系统的两个关键组件产生了这些结果：一个足够大且多样的领域内标注数据集，以及一个基于神经网络、预训练的可同时生成言语响应与 API 调用预测的模型。在数据方面，我们引入 TicketTalk，一个含 23,789 段标注对话的电影票务对话数据集。电影票务对话在知识库、话语特征与轮次数量上，既完全开放无限制，也更具结构化。在定性人工评估中，仅用 10,000 段 TicketTalk 对话训练的模型生成响应被评为“合理”的占比达 86.5%，几乎与相同语境下人类响应相当。我们简洁且以 API 为核心的标注模式使标注任务更轻松，更快且更具成本效益。它也是准确预测 API 调用的关键组件。我们通过将 API 调用纳入训练数据来处理事实依据，使模型学习采取何种动作及何时采取。在同一 10,000 段对话集上训练，模型的 API 调用预测在我们的评估中正确率被评为 93.9%，超过相应人类标注的评分。我们展示了随着数据集规模从 5,000 增至 21,000 段对话，API 预测与响应生成得分的提升。我们的分析也清晰说明了预训练的好处。我们随本文公开发布 TicketTalk 数据集，以促进未来基于交易的对话研究。
引用
@article{arxiv.2012.12458,
title = {TicketTalk: Toward human-level performance with end-to-end, transaction-based dialog systems},
author = {Bill Byrne and Karthik Krishnamoorthi and Saravanan Ganesh and Mihir Sanjay Kale},
journal= {arXiv preprint arXiv:2012.12458},
year = {2020}
}
备注
Eight pages, 4 figures, 7 tables