使用差分隐私训练大型 ASR 编码器
声音
2024-09-24 v1 密码学与安全
机器学习
音频与语音处理
摘要
用于大型语音模型的自监督学习 (SSL) 方法已被证明在自动语音识别 (ASR) 中非常有效。随着人们对公开部署大型预训练模型的兴趣日益浓厚，对训练数据中敏感数据点意外记忆和泄露的担忧也日益增加。在本文中，我们将差分隐私 (DP) 预训练应用于基于 SOTA Conformer 的编码器，并在假设微调数据公开的情况下，研究其在下游 ASR 任务上的性能。本文首次将 DP 应用于 ASR 的 SSL，研究了 BEST-RQ 预训练方法的 DP 噪声容忍度。值得注意的是，我们引入了一种称为基于梯度的层冻结的模型剪枝新颖变体，它在隐私-效用-计算权衡方面提供了显著改进。我们的方法在 LibriSpeech test-clean/other 上获得了 3.78/8.41 的词错率 (%)（对应外推至低数据集规模的 (, 1e^-9)-DP），以及 2.81/5.89 的词错率（对应外推至高规模的 (10, 7.9e^-11)-DP）。
引用
@article{arxiv.2409.13953,
title = {Training Large ASR Encoders with Differential Privacy},
author = {Geeticka Chauhan and Steve Chien and Om Thakkar and Abhradeep Thakurta and Arun Narayanan},
journal= {arXiv preprint arXiv:2409.13953},
year = {2024}
}
备注
In proceedings of the IEEE Spoken Language Technologies Workshop, 2024