无监督在线持续学习用于自动语音识别

适应新的语境会导致自动语音识别（ASR）模型对先前学习信息发生灾难性遗忘（Catastrophic Forgetting, CF）。本文聚焦于在面向在线持续学习（Online Continual Learning, OCL）的挑战性语境中解决 CF，具体表现为以连续数据流形式呈现任务且边界未知。我们将 OCL 拓展至无监督领域，通过利用自训练（self-training, ST）实现无监督适应，使模型能够在无标签依赖的情况下持续适应且不遗忘以前的知识。通过对 various OCL 和 ST 方法在两个 domain adaptation 实验中的比较分析，我们表明 UOCL 在防止遗忘方面显著优于监督 OCL，使 UOCL 方法接近监督 OCL 的性能水平。我们提出的 UOCL 扩展进一步提升了 UOCL 的效能。我们的发现代表了一项重要进展，使得能够利用跨不同语境的无标签数据来实现持续可适应的 ASR 系统。