CTRAN：用于自然语言理解的 CNN-Transformer 网络
计算与语言
2023-09-08 v1
摘要
意图检测和槽位填充是自然语言理解的两个主要任务。在本研究中，我们提出了 CTRAN，一种用于意图检测和槽位填充的新型编码器-解码器 CNN-Transformer 架构。在编码器中，我们使用 BERT，其后接若干卷积层，并使用窗口特征序列重排输出。我们在窗口特征序列之后使用堆叠的 Transformer 编码器。对于意图检测解码器，我们利用自注意力机制，其后接一个线性层。在槽位填充解码器中，我们引入了对齐的 Transformer 解码器，该解码器利用零对角掩码，将输出标签与输入词元对齐。我们将我们的网络应用于 ATIS 和 SNIPS，并在两个数据集上的槽位填充任务中超越了当前 SOTA。此外，我们将语言模型作为词嵌入，并表明与将语言模型作为编码器相比，该策略产生了更好的结果。
引用
@article{arxiv.2303.10606,
title = {CTRAN: CNN-Transformer-based Network for Natural Language Understanding},
author = {Mehrdad Rafiepour and Javad Salimi Sartakhti},
journal= {arXiv preprint arXiv:2303.10606},
year = {2023}
}