面向任务语义解析中 Transformer 模型的诊断分析

现代面向任务的语义解析方法通常使用 seq2seq transformer 将文本话语映射为由意图与槽位组成的语义帧。尽管这些模型在经验上表现强劲，其具体优势与弱点在很大程度上仍未被探索。本工作中，我们在单语与多语设置下研究 BART 与 XLM-R 两种最先进解析器。我们的实验得出若干关键结果：基于 transformer 的解析器不仅在消歧意图/槽位上有困难，令人惊讶的是在生成句法有效帧方面也存在困难。尽管预训练赋予 transformer 句法归纳偏置，我们发现将话语片段复制到帧中的歧义常导致树无效，表明片段提取是当前解析器的主要瓶颈。然而，作为一线希望，我们展示基于 transformer 的解析器能充分指示一个帧可能正确或错误，使其更易于在生产环境中部署。