从构建百万小时语音声学模型中获得的经验
机器学习
2019-04-04 v1 声音
音频与语音处理
机器学习
摘要
这是一份关于我们使用 100 万小时无标注语音构建声学模型（而有标注语音仅限于 7000 小时）所得经验的报告。我们在无标注数据上采用学生/教师训练，相较于基于置信度模型的方法（其需要解码器与置信度模型），有助于扩展目标生成。为优化存储并并行化目标生成，我们存储教师模型的高值 logits。引入调度学习的概念，我们在无标注与有标注数据上交错学习。为在大量 GPU 上扩展分布式训练，我们使用 64 个 GPU 的 BMUF，同时仅在有标注数据上用 16 个 GPU 的梯度阈值压缩 SGD 进行序列训练。我们的实验表明极大量的数据确实有用；在很少超参数调优下，我们获得了 10% 至 20% 范围的相对 WER 提升，在更嘈杂条件下增益更高。
引用
@article{arxiv.1904.01624,
title = {Lessons from Building Acoustic Models with a Million Hours of Speech},
author = {Sree Hari Krishnan Parthasarathi and Nikko Strom},
journal= {arXiv preprint arXiv:1904.01624},
year = {2019}
}
备注
"Copyright 2019 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works."