面向非独立同分布数据的解耦联邦学习在自动语音识别中的应用
音频与语音处理
2022-06-22 v1 计算与语言
分布式、并行与集群计算
声音
摘要
结合联邦学习（FL）的自动语音识别（ASR）使得在不损害隐私的情况下利用多个客户端的数据成为可能。基于FL的ASR的质量可以通过识别性能、通信和计算成本来衡量。当不同客户端之间的数据不是独立同分布（non-IID）时，性能可能会显著下降。在这项工作中，我们通过个性化联邦学习来解决基于FL的ASR中的非IID问题，该方法为每个客户端学习个性化模型。具体而言，我们为ASR提出了两种类型的个性化FL方法。首先，我们将基于个性化层的FL适配到ASR中，该方法在本地保留一些层以学习个性化模型。其次，为了降低通信和计算成本，我们提出了解耦联邦学习（DecoupleFL）。一方面，DecoupleFL将计算负担转移到服务器，从而减少了客户端的计算量。另一方面，DecoupleFL传输安全的高层特征而非模型参数，从而在模型较大时降低了通信成本。实验表明，与FedAvg相比，所提出的两种基于个性化FL的ASR方法可以将词错误率（WER）降低2.3% - 3.4%。其中，DecoupleFL的通信成本仅为FedAvg的11.4%，计算成本为75%，也显著低于基于个性化层的FL。
引用
@article{arxiv.2206.09102,
title = {Decoupled Federated Learning for ASR with Non-IID Data},
author = {Han Zhu and Jindong Wang and Gaofeng Cheng and Pengyuan Zhang and Yonghong Yan},
journal= {arXiv preprint arXiv:2206.09102},
year = {2022}
}
备注
Accepted by Interspeech 2022