Rainbow Keywords：面向在线语音关键词 spotting 的高效增量学习
声音
2022-07-01 v2 计算与语言
音频与语音处理
摘要
灾难性遗忘是部署后更新关键词 spotting（KWS）模型时一个棘手挑战。若 KWS 模型因边缘设备内存有限而进一步被要求用于边缘设备，该问题将更具挑战性。为缓解此问题，我们提出一种名为 Rainbow Keywords（RK）的新颖多样性感知增量学习方法。具体而言，所提 RK 方法引入多样性感知采样器，通过分类不确定性计算从历史与 incoming 关键词中选取多样化集合。因此，RK 方法能增量学习新任务而不遗忘先验知识。此外，RK 方法还提出数据增强与知识蒸馏损失函数，以在边缘设备上实现高效内存管理。实验结果表明，在 Google Speech Command 数据集上，所提 RK 方法以更少所需内存相较最佳基线在平均准确率上实现了 4.2% 的绝对提升。相关脚本已在 GitHub 上提供。
引用
@article{arxiv.2203.16361,
title = {Rainbow Keywords: Efficient Incremental Learning for Online Spoken Keyword Spotting},
author = {Yang Xiao and Nana Hou and Eng Siong Chng},
journal= {arXiv preprint arXiv:2203.16361},
year = {2022}
}
备注
Accepted to Interspeech 2022