基于梯度经验记忆的机器语音链持续学习
计算与语言
2024-11-28 v1 人工智能
音频与语音处理
摘要
自动语音识别 (ASR) 系统的持续学习面临诸多挑战，尤其是需要在保持对以前学习任务性能的同时避免灾难性遗忘。本文提出一种新方法，利用机器语音链框架实现基于梯度经验记忆 (GEM) 的 ASR 持续学习。通过在机器语音链中集成文本转语音 (TTS) 组件，我们支持 GEM 所必需的回放机制，使 ASR 模型能够依次学习新任务，而不会在先前任务上出现显著性能下降。我们的实验在 LJ Speech 数据集上进行，表明该方法优于传统微调和多任务学习方法，在保持不同噪声条件下的高性能的同时，实现了显著的错误率降低。我们展示了基于半监督机器语音链方法在语音识别中实现有效且高效持续学习的潜力。
引用
@article{arxiv.2411.18320,
title = {Continual Learning in Machine Speech Chain Using Gradient Episodic Memory},
author = {Geoffrey Tyndall and Kurniawati Azizah and Dipta Tanaya and Ayu Purwarianti and Dessi Puji Lestari and Sakriani Sakti},
journal= {arXiv preprint arXiv:2411.18320},
year = {2024}
}
备注
Published as a conference paper at O-COCOSDA 2024. 6 pages; 2 figures