神经信念跟踪中的不确定性度量及其对对话策略性能的影响
计算与语言
2021-09-10 v1
摘要
识别和解决不确定性的能力对于对话系统的鲁棒性至关重要。事实上,这一点已在利用贝叶斯方法进行对话信念跟踪的系统上得到了经验验证。然而,此类系统仅考虑置信度估计,且难以扩展到更复杂的环境。另一方面,神经对话系统很少考虑不确定性。因此,它们在决策中过于自信且鲁棒性较差。此外,跟踪任务的性能通常是孤立评估的,而没有考虑其对下游策略优化的影响。我们建议在神经信念跟踪中使用不同的不确定性度量。通过将选定的不确定性度量添加到策略的特征空间中,并通过与用户模拟器交互来训练策略,评估了这些度量对下游策略优化任务的影响。人类用户和模拟用户的结果均表明,纳入这些度量改善了下游对话策略的性能和鲁棒性。这凸显了开发考虑不确定性的神经对话信念跟踪器的重要性。
引用
@article{arxiv.2109.04349,
title = {Uncertainty Measures in Neural Belief Tracking and the Effects on Dialogue Policy Performance},
author = {Carel van Niekerk and Andrey Malinin and Christian Geishauser and Michael Heck and Hsien-chin Lin and Nurul Lubis and Shutong Feng and Milica Gašić},
journal= {arXiv preprint arXiv:2109.04349},
year = {2021}
}
备注
14 pages, 2 figures, accepted at EMNLP 2021 Main conference, Code at: https://gitlab.cs.uni-duesseldorf.de/general/dsml/setsumbt-public