神经音频编解码器中容量与鲁棒性之间的权衡：针对对抗鲁棒语音识别
音频与语音处理
2026-03-11 v1 声音
摘要
对抗性扰动会利用自动语音识别(ASR)系统的漏洞，同时保持人类感知的语言内容。神经音频编解码器通过离散瓶颈抑制与对抗噪声相关的细粒度信号变化。我们考察了该瓶颈的粒度——由残差向量量化(RVQ)深度控制——如何塑造对抗鲁棒性。我们观察到在基于梯度的攻击下存在非单调的权衡：浅层量化抑制对抗性扰动但会损害语音内容，而更深层的量化同时保留内容和扰动。中间深度平衡了这些效果并最小化转录误差。我们进一步表明，由对抗性诱导的离散码本标记变化与转录误差强相关。这些收益在自适应攻击下仍然保持有效，其中神经编解码器配置在传统压缩防御方面表现更佳。
引用
@article{arxiv.2603.09034,
title = {Trade-offs Between Capacity and Robustness in Neural Audio Codecs for Adversarially Robust Speech Recognition},
author = {Jordan Prescott and Thanathai Lertpetchpun and Shrikanth Narayanan},
journal= {arXiv preprint arXiv:2603.09034},
year = {2026}
}
备注
Submitted to Interspeech 2026