刻画语音自监督学习的对抗脆弱性
声音
2022-03-30 v2 机器学习
音频与语音处理
摘要
一个名为语音处理通用性能基准（Speech processing Universal PERformance Benchmark，SUPERB）的排行榜旨在以最小的架构修改和少量数据，对共享的自监督学习（SSL）语音模型在各种下游语音任务上的性能进行基准测试，这推动了语音表示学习的研究。SUPERB 表明，语音 SSL 上游模型仅需极少的自适应即可提升各种下游任务的性能。随着自监督学习上游模型接下游任务的范式在语音界引起更多关注，刻画该范式的对抗鲁棒性成为高优先级事项。本文首次尝试在零知识敌手和有限知识敌手的攻击下研究该范式的对抗脆弱性。实验结果表明，SUPERB 提出的范式对有限知识敌手严重脆弱，且零知识敌手生成的攻击具有可迁移性。XAB 测试验证了精心构造的对抗攻击的不可感知性。
引用
@article{arxiv.2111.04330,
title = {Characterizing the adversarial vulnerability of speech self-supervised learning},
author = {Haibin Wu and Bo Zheng and Xu Li and Xixin Wu and Hung-yi Lee and Helen Meng},
journal= {arXiv preprint arXiv:2111.04330},
year = {2022}
}
备注
Accepted by ICASSP 2022