用于序列到序列的微小神经模型
计算与语言
2021-08-29 v1 声音
音频与语音处理
摘要
具有面向任务对话系统应用的语义解析模型需要高效的序列到序列（seq2seq）架构以在设备端运行。为此，我们提出一种基于投影的编码器-解码器模型，称为 pQRNN-MAtt。基于投影方法的研究此前仅限于仅编码器的模型，我们认为这是将其扩展至 seq2seq 架构的首项研究。所得的量化模型大小小于 3.5MB，非常适合于设备端延迟关键型应用。我们表明，在具有挑战性的多语言语义解析数据集 MTOP 上，尽管模型小 85 倍，其平均性能仍超越了使用预训练词嵌入的基于 LSTM 的 seq2seq 模型。此外，该模型可作为蒸馏大型预训练模型（如 T5/BERT）的有效学生模型。
引用
@article{arxiv.2108.03340,
title = {Tiny Neural Models for Seq2Seq},
author = {Arun Kandoor},
journal= {arXiv preprint arXiv:2108.03340},
year = {2021}
}