一种克服自动语音识别中灾难性遗忘的多任务学习框架
声音
2019-04-18 v1 机器学习
音频与语音处理
摘要
近年来，基于数据驱动的自动语音识别（ASR）系统取得了最先进（state-of-the-art）的成果。当这些现有系统适应于目标领域时，通常会使用迁移学习，例如微调、重训练。然而，在这些过程中，系统参数可能会与先前学习的参数产生过大的偏离。因此，系统训练过程很难在学习目标领域知识的同时不遗忘先前学习过程中的知识，这被称为灾难性遗忘（CF）。在本文中，我们尝试通过终身学习来解决 CF 问题，并提出了一种用于 ASR 的新型多任务学习（MTL）训练框架。该框架将保留原有知识和学习新知识分别视为两个独立的任务。一方面，我们约束新参数使其不偏离原始参数过远，并在新系统遗忘原有知识时对其进行惩罚。另一方面，我们迫使新系统快速解决新知识。随后，采用 MTL 机制来平衡这两个任务。我们将该方法应用于端到端（End2End）ASR 任务，并在目标数据集和原始数据集上均取得了最佳性能。
引用
@article{arxiv.1904.08039,
title = {A Multi-Task Learning Framework for Overcoming the Catastrophic Forgetting in Automatic Speech Recognition},
author = {Jiabin Xue and Jiqing Han and Tieran Zheng and Xiang Gao and Jiaxing Guo},
journal= {arXiv preprint arXiv:1904.08039},
year = {2019}
}
备注
Submitted to Interspeech 2019;