利用联邦学习与隐私保护改进端侧说话人验证
音频与语音处理
2020-08-07 v1 机器学习
声音
机器学习
摘要
说话人特征信息可作为辅助信息用于提升说话人识别准确率，但此类信息通常具有隐私性。本文研究隐私保护学习如何改进说话人验证系统：通过利用隐私敏感的说话人数据训练一个预测说话人声音特征的辅助分类模型，从而提升系统性能。具体而言，本文探讨了结合不同联邦学习（federated learning）与差分隐私机制的方法所能达到的效用。这些方法能够在保护用户隐私的前提下训练中心模型，且用户数据始终保留在其设备上。此外，它们使得在大规模说话人群体上进行学习成为可能，从而在训练模型时确保对说话人特征的良好覆盖。本文所述的辅助模型使用从触发说话人验证系统的短语中提取的特征，并据此预测被认为有用的说话人特征标签作为辅助信息。该辅助模型的知识通过多任务学习蒸馏到说话人验证系统中，以该辅助模型预测的辅助信息标签作为附加任务。相较于基线系统，该方法在等错误率上取得了 6% 的相对提升。
引用
@article{arxiv.2008.02651,
title = {Improving on-device speaker verification using federated learning with privacy},
author = {Filip Granqvist and Matt Seigel and Rogier van Dalen and Áine Cahill and Stephen Shum and Matthias Paulik},
journal= {arXiv preprint arXiv:2008.02651},
year = {2020}
}
备注
To appear in proceedings of INTERSPEECH 2020