预算受限下的语音识别迁移学习
机器学习
2017-06-02 v1 计算与语言
神经与进化计算
机器学习
摘要
端到端训练自动语音识别（ASR）系统需要海量数据和计算资源。我们探索了基于模型自适应的迁移学习，作为一种在 GPU 内存、吞吐量和训练数据受限条件下训练 ASR 模型的方法。我们进行了多项系统性实验，将一个最初为英语 ASR 训练的 Wav2Letter 卷积神经网络适配到德语。我们表明，该技术能够在消费级资源上实现更快的训练，同时只需更少的训练数据即可达到相同的准确率，从而降低了训练其他语言 ASR 模型的成本。模型内省揭示，对网络权重进行微小调整便足以获得良好性能，尤其是对于内层而言。
引用
@article{arxiv.1706.00290,
title = {Transfer Learning for Speech Recognition on a Budget},
author = {Julius Kunze and Louis Kirsch and Ilia Kurenkov and Andreas Krug and Jens Johannsmeier and Sebastian Stober},
journal= {arXiv preprint arXiv:1706.00290},
year = {2017}
}
备注
Accepted for 2nd ACL Workshop on Representation Learning for NLP