面向意图检测与槽填充联合任务的 conditioned BERT
计算与语言
2023-08-14 v1
摘要
对话系统需要处理用户意图的不可预测性以追踪对话状态，以及槽的异质性以理解用户偏好。本文中我们研究如下假设：将此类挑战作为一个统一模型来解决，将允许在不同任务间传递参数支撑数据。所提出的基于原则性的模型以 Transformer 编码器为基础，在多个任务上训练，并通过使模型以目标推断为条件的丰富输入加以利用。使 Transformer 编码器在同一语料上以多个目标推断（即意图与多类槽类型）为条件，能够学习到比单任务模型更丰富的语言交互。事实上，实验结果表明以不断增加数量的对话推断任务为条件可带来性能提升：在 MultiWOZ 数据集上，联合意图与槽检测通过以意图为条件提升 3.2%，以槽为条件提升 10.8%，以意图和槽同时为条件提升 14.4%。此外，在与 Farfetch 客户的真实对话中，所提出的 conditioned BERT 能在整个对话过程中实现较高的联合目标与意图检测性能。
引用
@article{arxiv.2308.06165,
title = {Task Conditioned BERT for Joint Intent Detection and Slot-filling},
author = {Diogo Tavares and Pedro Azevedo and David Semedo and Ricardo Sousa and João Magalhães},
journal= {arXiv preprint arXiv:2308.06165},
year = {2023}
}