面向音频内容审查软件的变形测试
软件工程
2025-09-30 v1 人工智能
计算与语言
多媒体
摘要
WhatsApp 和 Twitter 等音频中心平台和应用程序的快速增长已改变人们在现代社会中交流和分享音频内容的方式。然而，这些平台正被滥用来传播有害音频内容，如仇恨言论、欺骗性广告和成人内容，这些内容可能对用户的心理健康产生严重的负面影响。为应对这些挑战，研究人员和实践者正在积极开发和部署音频内容审查工具。尽管如此，恶意行为者可以通过对音频内容进行细微修改（例如修改音调或插入噪声）来规避审查系统。此外，现代音频审查工具针对此类对抗性输入的有效性尚未得到充分研究。为解决这些挑战，我们提出了MTAM，即音频内容审查软件的变形测试框架。具体而言，我们对2000个音频片段进行了 pilot 研究，并定义了跨两个扰动类别（音频特征基准和启发式扰动）的14个变形关系。MTAM应用这些变形关系对有毒音频内容进行测试，以生成仍然有害但更可能规避检测的测试用例。在我们的评估中，我们使用MTAM测试了来自Gladia、Assembly AI、Baidu、Nextdata和Tencent的五家商业文本内容审查软件以及一个学术模型，对三类有害内容进行测试。结果显示，MTAM在测试这些商业审查软件时分别实现了最高达38.6%、18.3%、35.1%、16.7%和51.1%的错误发现率（EFR），而在测试学术领域最先进的算法时达到最高45.7%的EFR。
引用
@article{arxiv.2509.24215,
title = {Metamorphic Testing for Audio Content Moderation Software},
author = {Wenxuan Wang and Yongjiang Wu and Junyuan Zhang and Shuqing Li and Yun Peng and Wenting Chen and Shuai Wang and Michael R. Lyu},
journal= {arXiv preprint arXiv:2509.24215},
year = {2025}
}
备注
Accepted by ASE 2025