知己之所知:通过集成方法校准对话信念状态分布
计算与语言
2020-11-24 v2 人工智能
摘要
准确追踪对话中发生内容的能力对对话系统的性能至关重要。当前最先进的多元对话状态追踪器在主流基准上的准确率仅略高于 55%,这意味着在几乎每两个对话轮次中就有一次它们对错误的对话状态赋予了完全置信度。另一方面,信念追踪器维护可能对话状态上的分布。然而,它们相比对话状态追踪器性能不足,且无法产生良好校准的分布。本工作中,我们使用校准的模型集成,在多元对话信念追踪器的校准上取得了最先进的性能。我们所得的对话信念追踪器在准确率上也优于以往的对话信念追踪模型。
引用
@article{arxiv.2010.02586,
title = {Knowing What You Know: Calibrating Dialogue Belief State Distributions via Ensembles},
author = {Carel van Niekerk and Michael Heck and Christian Geishauser and Hsien-Chin Lin and Nurul Lubis and Marco Moresi and Milica Gašić},
journal= {arXiv preprint arXiv:2010.02586},
year = {2020}
}
备注
7 pages, 9 figures, to be published in Findings of EMNLP 2020, code available at: https://gitlab.cs.uni-duesseldorf.de/general/dsml/calibrating-dialogue-belief-state-distributions