为语音模型学习神经差分更新
音频与语音处理
2021-08-18 v2 声音
摘要
随着越来越多的语音处理应用在边缘设备上本地执行，必须考虑一组资源约束。在这项工作中，我们处理其中一个约束，即将模型从服务器传输到设备的网络数据预算。我们提出了在遵守数据预算的前提下发布后续语音模型代际的神经更新方法。我们详细介绍了两种与架构无关的方法，它们学习用于传输到设备的紧凑表示。我们通过在开源数据集上的两个任务（自动语音识别和口语语言理解）的结果，对我们的技术进行了实验验证，证明当连续应用时，我们的预算化更新以显著优势优于可比的模型压缩基线。
引用
@article{arxiv.2108.01561,
title = {Learning a Neural Diff for Speech Models},
author = {Jonathan Macoskey and Grant P. Strimel and Ariya Rastrow},
journal= {arXiv preprint arXiv:2108.01561},
year = {2021}
}
备注
Accepted at Interspeech 2021