基于多头注意力与 Softtriple 损失的示例查询关键词 spotting 系统
计算与语言
2021-05-11 v2 机器学习
摘要
本文提出了一种用于解决示例查询用户自定义关键词 spotting 任务的神经网络架构。在多层的 GRU 之上添加多头注意力模块以进行有效特征提取，并提出了归一化多头注意力模块用于特征聚合。我们还采用了 softtriple 损失——三元组损失与 softmax 损失的组合——并展示了其有效性。我们在包含不同语言的内部数据集以及公开的 Hey-Snips 数据集上展示了模型的性能。我们将模型性能与基线系统进行比较，并进行了消融实验以展示架构中每个组件的益处。所提出的工作在保持简洁性的同时展现出稳健的性能。
引用
@article{arxiv.2102.07061,
title = {Query-by-Example Keyword Spotting system using Multi-head Attention and Softtriple Loss},
author = {Jinmiao Huang and Waseem Gharbieh and Han Suk Shim and Eugene Kim},
journal= {arXiv preprint arXiv:2102.07061},
year = {2021}
}
备注
Accepted by ICASSP 2021