通过校准狄利克雷先验RNN建模词元级不确定性以学习SLU中的未知概念
人工智能
2020-10-19 v1
摘要
现代个人助理中口语理解（spoken language understanding, SLU）的一项主要任务是从话语中提取语义概念，称为槽填充。尽管现有槽填充模型试图改进提取训练数据中未见过的新概念，实际性能仍不尽如人意。近期研究收集问答标注数据以学习何为未知且应被询问的内容，但因繁重的数据收集工作而不具实际可扩展性。在本文中，我们结合基于softmax的槽填充神经架构，在无问题监督下建模序列不确定性。我们设计了一种狄利克雷先验RNN（Dirichlet Prior RNN），通过对RNN模型训练退化为softmax层来建模高阶不确定性。为进一步增强不确定性建模的鲁棒性，我们提出一种新颖的多任务训练来校准狄利克雷浓度参数。我们从SLU基准数据集Snips和ATIS中收集未见过概念以创建两个测试数据集。在这两个数据集及另一个已有的概念学习基准数据集上，我们表明我们的方法以高达8.18%的优势显著优于最先进方法。我们的方法是通用的，可应用于任何带有softmax层的基于RNN或Transformer的槽填充模型。
引用
@article{arxiv.2010.08101,
title = {Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN},
author = {Yilin Shen and Wenhu Chen and Hongxia Jin},
journal= {arXiv preprint arXiv:2010.08101},
year = {2020}
}