基于泊松子采样集成师生学习方法的差分隐私保护语音识别
音频与语音处理
2022-10-13 v1 人工智能
机器学习
声音
信号处理
摘要
我们提出一种带泊松子采样的集成学习框架，以有效训练一组教师模型，从而为训练数据提供某种差分隐私（DP）保证。通过 DP 下的提升，从训练数据导出的学生模型相比无隐私保护训练的模型所受的模型退化很小。我们提出的方案利用两种机制，即：(i) 通过泊松子采样实现隐私预算放大，以训练所需噪声更少即可达到同等隐私预算水平的目标预测模型；以及 (ii) 将子采样技术与集成师生学习框架相结合，在教师模型输出处引入保 DP 噪声，并通过带噪标签传递保 DP 特性。随后使用带噪标签训练保隐私学生模型，以从教师模型集成中学习具 DP 保护的知识。在语音命令识别和汉语连续语音识别上的实验证据表明，我们提出的框架在两项语音处理任务中均大幅优于现有保 DP 算法。
引用
@article{arxiv.2210.06382,
title = {An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition},
author = {Chao-Han Huck Yang and Jun Qi and Sabato Marco Siniscalchi and Chin-Hui Lee},
journal= {arXiv preprint arXiv:2210.06382},
year = {2022}
}
备注
Accepted to ISCA, ISCSLP 2022, Singapore. 5 Pages