Iterative Delexicalization for Improved Spoken Language Understanding

近年来，基于循环神经网络（RNN）的联合意图分类和槽位标注模型在构建口语语言理解和对话系统方面取得了巨大成功。然而，这些模型对于那些在部署后槽位值经常遇到较大语义变化的槽位（例如，消息文本、部分电影/艺术家名称）表现不佳。虽然通过子串匹配对输入话语中的槽位进行贪心去词汇化可以部分提高性能，但它常常产生错误的输入。此外，此类技术无法对训练中未见的词汇外槽位值进行去词汇化。在本文中，我们提出了一种新颖的迭代去词汇化算法，即使对于词汇外槽位值，该算法也能准确地对输入进行去词汇化。基于当前去词汇化输入的模型置信度，我们的算法在每次迭代中改进去词汇化，以收敛到具有最高置信度的最佳输入。我们在基准数据集和内部数据集上表明，我们的算法可以极大地提高基于 RNN 的模型的解析性能，特别是对于分布外槽位值。