大型 ASR 模型的差分隐私参数高效微调
密码学与安全
2024-10-04 v1
摘要
大型自动语音识别（ASR）模型可能不可避免地泄露敏感信息，这可以通过形式化隐私措施如差分隐私（DP）加以缓解。然而，传统 DP 训练计算昂贵且可能损害模型性能。我们研究了 DP 参数高效微调作为降低 ASR 模型隐私风险、同时降低计算和性能成本的方法。通过大量实验和渐进式优化，我们在 LibriSpeech clean/other 测试集上实现了 4.6%/8.1% 的词错误率，同时维持 (10, 3.52e-6)-DP，对参数超过 600 万的大型 ASR 模型进行微调。
引用
@article{arxiv.2410.01948,
title = {Differentially Private Parameter-Efficient Fine-tuning for Large ASR Models},
author = {Hongbin Liu and Lun Wang and Om Thakkar and Abhradeep Thakurta and Arun Narayanan},
journal= {arXiv preprint arXiv:2410.01948},
year = {2024}
}