利用辅助数据监督改进小 footprint 少样本关键词 spotting
音频与语音处理
2023-09-06 v1 机器学习
声音
摘要
少样本关键词 spotting（FS-KWS）模型通常需要大规模标注数据集才能泛化到未见过的目标关键词。然而，现有的 KWS 数据集规模有限，且收集类关键词的标注数据成本高昂。为缓解此问题，我们提出一种框架，使用易于收集的未标注朗读语音数据作为辅助来源。自监督学习已广泛用于从未标注数据中学习表示；但已知其适用于具备足够容量的大模型，并不实用用于训练小 footprint 的 FS-KWS 模型。相反，我们自动标注并过滤数据以构建类关键词数据集 LibriWord，从而实现对辅助数据的监督。我们随后采用多任务学习，帮助模型增强来自域外辅助数据的表示能力。我们的方法在 FS-KWS 基准上显著优于竞争方法。
引用
@article{arxiv.2309.00647,
title = {Improving Small Footprint Few-shot Keyword Spotting with Supervision on Auxiliary Data},
author = {Seunghan Yang and Byeonggeun Kim and Kyuhong Shim and Simyung Chang},
journal= {arXiv preprint arXiv:2309.00647},
year = {2023}
}
备注
Interspeech 2023