面向边缘设备联合意图检测与槽填充的快速注意力网络
计算与语言
2022-05-17 v1 声音
音频与语音处理
摘要
意图检测与槽填充是自然语言理解中的两项主要任务，在面向任务的对话系统中起着至关重要的作用。两项任务的联合学习可提高推理精度，在近期工作中颇受欢迎。然而，大多数联合模型忽视了推理延迟，无法满足在边缘部署对话系统的需求。本文提出一种用于联合意图检测与槽填充任务的快速注意力网络（FAN），同时保证精度与延迟。具体而言，我们引入一个简洁且参数精炼的注意力模块来增强意图与槽之间的信息交换，将语义精度提升逾2%。FAN可基于不同编码器实现，并在各速度层级上给出更精确的模型。我们在Jetson Nano平台上的实验表明，FAN每秒可推理十五条语句且精度下降很小，显示了其在边缘设备上的有效性与高效性。
引用
@article{arxiv.2205.07646,
title = {A Fast Attention Network for Joint Intent Detection and Slot Filling on Edge Devices},
author = {Liang Huang and Senjie Liang and Feiyang Ye and Nan Gao},
journal= {arXiv preprint arXiv:2205.07646},
year = {2022}
}
备注
9 pages, 4 figures