捕获显著历史信息：一种快速准确的多轮口语理解非自回归模型
计算与语言
2022-06-27 v1 人工智能
摘要
口语理解（SLU）作为任务型对话系统的核心组件，面对人类用户的不耐烦期望更短的推理时间。现有工作通过为单轮 SLU 任务设计非自回归模型来提升推理速度，但面对对话历史时无法应用于多轮 SLU。直观想法是拼接所有历史话语并直接利用非自回归模型。然而，该方法严重遗漏显著历史信息并遭受槽位不协调问题。为克服这些缺陷，我们提出一种用于多轮 SLU 的新模型，称为具有层精炼 Transformer 的显著历史注意力（SHA-LRT），其由 SHA 模块、层精炼机制（LRM）和槽位标签生成（SLG）任务组成。SHA 通过精心设计的史注机制从历史事件话语与结果中捕获当前对话的显著历史信息。LRM 从 Transformer 的中间状态预测初步 SLU 结果并利用其引导最终预测，SLG 为非自回归编码器获取序列依赖信息。在公开数据集上的实验表明，相比最先进基线，我们的模型在加速（近 15 倍）推理过程的同时显著提升了多轮 SLU 性能（Overall 上 17.5%），且在单轮 SLU 任务上同样有效。
引用
@article{arxiv.2206.12209,
title = {Capture Salient Historical Information: A Fast and Accurate Non-Autoregressive Model for Multi-turn Spoken Language Understanding},
author = {Lizhi Cheng and Weijia jia and Wenmian Yang},
journal= {arXiv preprint arXiv:2206.12209},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2108.07005