基于交叉注意力的多任务学习用于关键词 spotting
音频与语音处理
2021-09-23 v2 计算与语言
机器学习
声音
摘要
关键词 spotting(KWS)是语音应用的一项重要技术,使用户能通过说出关键词短语激活设备。尽管音素分类器可用于 KWS,并利用大量转写数据用于自动语音识别(ASR),但训练准则(音素识别)与目标任务(KWS)间存在失配。近来,多任务学习已应用于 KWS 以同时利用 ASR 与 KWS 训练数据。该方法中,声学模型输出被拆分为两支分别用于两任务:一支用 ASR 数据训练的音素转写,一支用 KWS 数据训练的关键词分类。本文中,我们在多任务学习框架中引入交叉注意力解码器。与常规将输出层简单拆分的多数任务学习不同,交叉注意力解码器通过在编码器输出与可训练查询序列间执行交叉注意力,从音素编码器汇总信息,以预测 KWS 任务的置信度分数。在 KWS 任务上的实验结果表明,相较带拆分分支与双向长短期记忆解码器的常规多任务学习,所提方法在误拒率上实现了 12% 的相对降低。
引用
@article{arxiv.2107.07634,
title = {Multi-task Learning with Cross Attention for Keyword Spotting},
author = {Takuya Higuchi and Anmol Gupta and Chandra Dhir},
journal= {arXiv preprint arXiv:2107.07634},
year = {2021}
}
备注
Accepted at ASRU 2021