基于高阶时间统计池化的低资源设备关键词 spotting 在线持续学习
声音
2023-07-25 v1 机器学习
音频与语音处理
摘要
嵌入式设备上的关键词 spotting（KWS）模型应快速适应新用户定义词而不遗忘先前的词。嵌入式设备存储与计算资源有限，因此无法保存样本或更新大型模型。我们考虑嵌入式在线持续学习（EOCL）设定，其中具有冻结骨干网络的 KWS 模型从非重复样本流中逐个增量识别新词。为此，我们提出时间感知池化（TAP），其通过计算预训练骨干提取的语音特征的高阶矩来构建丰富的特征空间。我们的方法 TAP-SLDA 在丰富特征空间上为每类更新高斯模型，以有效利用音频表示。在实验分析中，TAP-SLDA 在多种设定、骨干网络和基线上优于对比方法，在 GSC 数据集上带来 11.3% 的相对平均增益。
引用
@article{arxiv.2307.12660,
title = {Online Continual Learning in Keyword Spotting for Low-Resource Devices via Pooling High-Order Temporal Statistics},
author = {Umberto Michieli and Pablo Peso Parada and Mete Ozay},
journal= {arXiv preprint arXiv:2307.12660},
year = {2023}
}
备注
INTERSPEECH 2023