ILASR：面向生产规模自动语音识别的隐私保护增量学习
计算与语言
2022-07-26 v2 人工智能
摘要
增量学习是一种利用流式数据大规模构建和更新模型的范式。对于端到端自动语音识别（ASR）任务，缺乏人工标注标签以及模型构建需遵循隐私保护策略，使其成为一个艰巨挑战。受这些挑战驱动，本文中我们使用基于云的框架用于生产系统，以展示面向自动语音识别的隐私保护增量学习（ILASR）的洞见。所谓隐私保护，是指使用非人工标注的瞬时数据。该系统是面向增量/持续学习的生产级ASR模型向前的一步，为端到端ASR在云中提供了近乎实时的实验测试平台，同时遵守隐私保护策略。我们表明，即使在缺乏人工标注标签、具有不同水平的弱监督和增量学习中大批量大小的情况下，所提出的系统在新六个月时间段内仍可显著改进生产模型（3%）。相对于含有新时间段中新词和短语的测试集，该改进达20%。我们展示了以隐私保护增量方式构建ASR模型的有效性，同时进一步探索了拥有高效教师模型及使用大批量大小的效用。
引用
@article{arxiv.2207.09078,
title = {ILASR: Privacy-Preserving Incremental Learning for Automatic Speech Recognition at Production Scale},
author = {Gopinath Chennupati and Milind Rao and Gurpreet Chadha and Aaron Eakin and Anirudh Raju and Gautam Tiwari and Anit Kumar Sahu and Ariya Rastrow and Jasha Droppo and Andy Oberlin and Buddha Nandanoor and Prahalad Venkataramanan and Zheng Wu and Pankaj Sitpure},
journal= {arXiv preprint arXiv:2207.09078},
year = {2022}
}
备注
9 pages