用于增量式关键词检测的 Dark Experience

语音关键词检测（KWS）对于识别音频输入中的关键词至关重要，被广泛应用于 Apple Siri 和 Google Home 等应用中，尤其是在边缘设备上。当前基于深度学习的 KWS 系统通常在有限的关键词集合上训练，在遇到新领域时可能出现性能下降，这一挑战通常通过少样本微调来解决。然而，这种适应经常导致灾难性遗忘，即模型在原始数据上的性能退化。已有渐进式持续学习（CL）策略被提出以克服此问题，但它们面临需要任务 ID 信息和增加存储等限制，使其在轻量级设备上不够实用。为应对这些挑战，我们引入了用于关键词检测的 Dark Experience（DE-KWS），这是一种新颖的 CL 方法，利用暗知识在整个训练过程中蒸馏过往经验。DE-KWS 结合了排练和蒸馏，使用存储在记忆缓冲区中的真实标签和 logits 来维持模型在多个任务上的性能。在 Google Speech Command 数据集上的评估表明，DE-KWS 在不增加模型大小的情况下，平均准确率优于现有 CL 基线，为资源受限的边缘设备提供了有效解决方案。脚本已在 GitHub 上公开供未来研究使用。