针对大型音频语言模型的成员推理攻击
声音
2026-03-31 v1 人工智能
摘要
我们首次对大型音频语言模型（LALM）进行了系统的成员推理攻击（MIA）评估。由于音频编码了非语义信息，它会导致严重的训练集和测试集分布偏移，并可能导致虚假的MIA性能。使用基于文本、频谱和韵律特征的多模态盲基线，我们证明常见语音数据集即使在无需模型推理的情况下也表现出近乎完美的训练/测试可分离性（AUC约为1.0），且标准MIA分数与这些盲声学伪影强烈相关（相关性大于0.7）。利用这一盲基线，我们识别出分布匹配的数据集能够在无分布偏移混淆的情况下实现可靠的MIA评估。我们对多个MIA方法进行了基准测试，并在这些数据集上进行了模态解耦实验。结果表明，LALM的记忆是跨模态的，仅源于将说话人的声音身份与其文本绑定。这些发现为审计LALM建立了超越虚假相关的原则性标准。
引用
@article{arxiv.2603.28378,
title = {Membership Inference Attacks against Large Audio Language Models},
author = {Jia-Kai Dong and Yu-Xiang Lin and Hung-Yi Lee},
journal= {arXiv preprint arXiv:2603.28378},
year = {2026}
}
备注
submitted to Interspeech 2026