基于联邦学习训练语音识别模型：质量/成本框架
机器学习
2021-05-18 v2 分布式、并行与集群计算
摘要
我们提出使用联邦学习——一种去中心化的设备端学习范式——来训练语音识别模型。通过在每用户基础上执行训练轮次，联邦学习必须承担处理非 IID 数据分布的成本，这预计会对训练模型的质量产生负面影响。我们提出一个框架，借此可改变非 IID 程度，从而阐明模型质量与联邦训练计算成本之间的权衡，我们通过一种新度量来刻画该权衡。最后，我们证明超参数优化与变分噪声的恰当使用足以补偿非 IID 分布的质量影响，同时降低成本。
引用
@article{arxiv.2010.15965,
title = {Training Speech Recognition Models with Federated Learning: A Quality/Cost Framework},
author = {Dhruv Guliani and Francoise Beaufays and Giovanni Motta},
journal= {arXiv preprint arXiv:2010.15965},
year = {2021}
}
备注
Paper published at ICASSP 2021