HearSay 基准测试：音频大语言模型是否会泄露所听内容？
计算与语言
2026-01-08 v1
摘要
尽管音频大语言模型（ALLM）在理解和生成方面取得了显著进展，但其潜在的隐私影响仍基本未被探讨。本文采取第一步，调查 ALLM 是否仅通过声学声纹会泄露用户隐私，引入了由超过 22,000 条真实世界音频剪辑构成的综合性基准测试 。为确保数据质量，该基准测试通过一系列严格的管道进行精细筛选，包括自动化轮廓分析和人工验证，确保所有隐私标签都建立在事实记录之上。在 上进行的大规模实验得出三个关键发现：：ALLM 本质上会从声纹中提取私有属性，性别识别准确率达 92.89%，并能有效地对社交属性进行轮廓化。：令人惊讶的是，现有安全措施严重不足；大多数模型未能拒绝泄露隐私的请求，针对生理特征的拒绝率几乎为零。：链式思考（CoT）推理会加剧能力模型中的隐私风险，通过揭示更深层的声学关联。这些发现揭示了 ALLM 的关键漏洞，强调迫切需要针对性的隐私对齐。代码和数据集均可在 https://github.com/JinWang79/HearSay_Benchmark 获取。
引用
@article{arxiv.2601.03783,
title = {HearSay Benchmark: Do Audio LLMs Leak What They Hear?},
author = {Jin Wang and Liang Lin and Kaiwen Luo and Weiliu Wang and Yitian Chen and Moayad Aloqaily and Xuehai Tang and Zhenhong Zhou and Kun Wang and Li Sun and Qingsong Wen},
journal= {arXiv preprint arXiv:2601.03783},
year = {2026}
}