通过意图条件化改进非自回归语义解析的 Top-K 解码
计算与语言
2022-04-15 v1 人工智能
机器学习
摘要
语义解析 (SP) 是 Google Assistant 和 Amazon Alexa 等现代虚拟助手的核心组件。虽然基于序列到序列的自回归 (AR) 方法常用于对话语义解析，但近期研究采用非自回归 (NAR) 解码器，在保持有竞争力的解析质量的同时降低推理延迟。然而，NAR 解码器的一个主要缺陷是难以通过束搜索等方法生成 top-k（即 k 最佳）输出。为应对这一挑战，我们提出了一种引入解码器意图条件化的新型 NAR 语义解析器。受传统意图与槽位标注解析器的启发，我们将顶层意图预测与解析的其余部分解耦。由于顶层意图在很大程度上支配着解析的语法与语义，意图条件化使模型能更好地控制束搜索，并改善 top-k 输出的质量与多样性。我们引入了一种混合教师强制方法以避免训练与推理不匹配。我们在对话 SP 数据集 TOP 与 TOPv2 上评估了所提 NAR 模型。与现有 NAR 模型一样，我们保持了 O(1) 解码时间复杂度，同时生成更多样化的输出，并将 top-3 精确匹配 (EM) 提高了 2.4 个点。与 AR 模型相比，我们的模型在 CPU 上将束搜索推理加速了 6.7 倍，且 top-k EM 具有竞争力。
引用
@article{arxiv.2204.06748,
title = {Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning},
author = {Geunseob Oh and Rahul Goel and Chris Hidey and Shachi Paul and Aditya Gupta and Pararth Shah and Rushin Shah},
journal= {arXiv preprint arXiv:2204.06748},
year = {2022}
}