在 Transformer 编码器中编码句法知识用于意图检测与槽填充
人工智能
2020-12-23 v1
摘要
我们提出了一种新颖的基于 Transformer 编码器的架构，其中编码了句法知识以用于意图检测与槽填充。具体而言，我们通过多任务学习联合训练 Transformer 编码器预测每个词的句法解析祖先与词性，从而将句法知识编码进 Transformer 编码器。我们的模型基于自注意力与前馈层，在推理时不需要外部句法信息可用。实验表明，在两个基准数据集上，仅含两个 Transformer 编码器层的模型取得了最先进结果。相较于此前无预训练的最佳性能模型，我们的模型在 SNIPS 数据集上分别为槽填充与意图检测实现了 1.59% 和 0.85% 的绝对 F1 分数与准确率提升。我们的模型在 ATIS 数据集上相较于此前最佳性能模型，也分别为槽填充与意图检测实现了 0.1% 和 0.34% 的绝对 F1 分数与准确率提升。此外，自注意力权重的可视化说明了在训练期间融入句法信息的益处。
引用
@article{arxiv.2012.11689,
title = {Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling},
author = {Jixuan Wang and Kai Wei and Martin Radfar and Weiwei Zhang and Clement Chung},
journal= {arXiv preprint arXiv:2012.11689},
year = {2020}
}
备注
This is a pre-print version of paper accepted by AAAI2021