LIDSNet：一种基于深度孪生网络的轻量级端侧意图检测模型
计算与语言
2022-01-31 v1 机器学习
摘要
意图检测是任何自然语言理解（NLU）系统中的关键任务，并构成任务型对话系统的基础。为了为边缘设备构建高质量的现实世界对话解决方案，需要在设备上部署意图检测模型。这亟需一个轻量、快速且准确的模型，能在资源受限环境中高效运行。为此，我们提出 LIDSNet，一种新颖的轻量级端侧意图检测模型，它利用深度孪生网络（Deep Siamese Network）学习更好的句子表示，从而准确预测消息意图。我们使用字符级特征来丰富句子级表示，并通过利用预训练嵌入实证展示了迁移学习的优势。此外，为探究我们架构中各模块的有效性，我们进行了消融研究并得出最优模型。实验结果证明，LIDSNet 在 SNIPS 和 ATIS 公开数据集上分别取得了 98.00% 和 95.97% 的 SOTA 竞争精度，参数量低于 0.59M。我们进一步将 LIDSNet 与微调的 BERT 进行基准对比，表明在三星 Galaxy S20 设备上，我们的模型在推理时至少比 MobileBERT 轻 41 倍、快 30 倍，证明了其在资源受限边缘设备上的高效性。
引用
@article{arxiv.2110.15717,
title = {LIDSNet: A Lightweight on-device Intent Detection model using Deep Siamese Network},
author = {Vibhav Agarwal and Sudeep Deepak Shivnikar and Sourav Ghosh and Himanshu Arora and Yashwant Saini},
journal= {arXiv preprint arXiv:2110.15717},
year = {2022}
}
备注
Accepted for publication in 2021 IEEE 20th International Conference on Machine Learning and Applications (ICMLA)