用于参数高效声学建模的差分隐私适配器
声音
2023-08-28 v1 密码学与安全
机器学习
音频与语音处理
摘要
在这项工作中，我们设计了一种参数高效的方案，将差分隐私（DP）保证引入跨语言语音分类器的适配中。我们研究了一种新的冻结预训练适配框架，用于在不进行全模型微调的情况下保持 DP 的语音建模。首先，我们将带噪声的教师-学生集成引入利用冻结预训练声学模型的常规适配方案，并取得了优于基于 DP 的随机梯度下降（DPSGD）的性能。接下来，我们在冻结预训练声学模型的层之间插入残差适配器（RA）。RA 以可忽略的性能下降显著降低了训练成本与时间。在开放获取的 Multilingual Spoken Words（MLSW）数据集上评估，我们的方案使用 RA 将可训练参数数量减少了 97.5%，相对于微调跨语言语音分类器仅有 4% 的性能下降，同时保持了 DP 保证。
引用
@article{arxiv.2305.11360,
title = {Differentially Private Adapters for Parameter Efficient Acoustic Modeling},
author = {Chun-Wei Ho and Chao-Han Huck Yang and Sabato Marco Siniscalchi},
journal= {arXiv preprint arXiv:2305.11360},
year = {2023}
}
备注
Accepted to Interspeech 2023. Code will be available at: https://github.com/Chun-wei-Ho/Private-Speech-Adapter. The authors would like to express their gratitude to Prof. Chin-Hui Lee from Georgia Tech for providing helpful insights and suggestions