真实世界中大型ASR模型的联邦学习
机器学习
2024-08-21 v1 计算与语言
声音
音频与语音处理
摘要
联邦学习（FL）在训练机器学习模型以保护隐私方面已展现出有前景的结果。然而，对于超过1亿参数的大型模型，训练资源需求成为FL的障碍，因为常见设备没有足够的内存和计算能力来完成FL任务。尽管已提出高效的训练方法，但训练像基于Conformer的ASR这样的大型模型仍然具有挑战性。本文提出了一种系统性方案，使用FL训练1.3亿参数的全尺寸ASR模型。据我们所知，这是Conformer模型在真实世界中的首次FL应用，也是迄今为止使用FL训练的最大模型。这也是首次展示FL可以通过一组提出的方法来提升ASR模型质量的论文，这些方法用于优化客户端的数据和标签质量。我们在真实世界实验中同时展示了训练效率和模型质量的提升。
引用
@article{arxiv.2408.10443,
title = {Federated Learning of Large ASR Models in the Real World},
author = {Yonghui Xiao and Yuxin Ding and Changwan Ryu and Petr Zadrazil and Francoise Beaufays},
journal= {arXiv preprint arXiv:2408.10443},
year = {2024}
}