VIC-KD:用于提升关键词 spotting 对抗攻击鲁棒性的方差-不变性-协方差知识蒸馏
音频与语音处理
2023-09-25 v1 声音
摘要
关键词 spotting(KWS)指在音频流中识别一组预定义词的任务。随着深度神经网络近期的进展,它已成为激活和控制小型设备(如语音助手)的流行技术。然而,由于硬件限制,在边缘设备上依赖此类模型可能具有挑战性。此外,随着针对语音技术的对抗攻击增多,开发对此类攻击鲁棒的解决方案已变得至关重要。在本工作中,我们提出 VIC-KD,一种用于模型压缩与对抗鲁棒性的鲁棒蒸馏方法。利用自监督语音表示,我们展示对教师与学生模型的潜在表示施加几何先验可得到更鲁棒的目标模型。在 Google Speech Commands 数据集上的实验表明,所提方法在鲁棒准确率上分别比当前最先进的鲁棒蒸馏方法 ARD 和 RSLAD 高出 12% 和 8%。
关键词
引用
@article{arxiv.2309.12914,
title = {VIC-KD: Variance-Invariance-Covariance Knowledge Distillation to Make Keyword Spotting More Robust Against Adversarial Attacks},
author = {Heitor R. Guimarães and Arthur Pimentel and Anderson Avila and Tiago H. Falk},
journal= {arXiv preprint arXiv:2309.12914},
year = {2023}
}
备注
Submitted to ICASSP 2024