通过语义融合验证多媒体内容审核软件
软件工程
2023-05-24 v1 人工智能
计算与语言
计算机视觉与模式识别
多媒体
摘要
Facebook 和 TikTok 等社交媒体平台的指数级增长，彻底改变了人类社会的交流与内容发布方式。这些平台上的用户可发布通过文本、音频、图像和视频组合来传递信息的多媒体内容。与此同时，多媒体内容发布功能正日益被滥用于传播仇恨言论、恶意广告和色情内容等有害内容。为此，内容审核软件已被广泛部署于这些平台以检测并屏蔽有害内容。然而，由于内容审核模型的复杂性以及跨多种模态理解信息的困难，现有内容审核软件可能漏检有害内容，往往导致极其负面的影响。我们提出 Semantic Fusion，一种用于验证多媒体内容审核软件的通用且有效的方法论。我们的核心思想是将两个或多个现有的单模态输入（例如一个文本句子和一张图像）融合为一个新输入，该输入以新颖方式组合其来源输入的语义，并在构造上具有有害性质。随后将此融合输入用于验证多媒体内容审核软件。我们将 Semantic Fusion 实现为 DUO，一个实用的内容审核软件测试工具。在评估中，我们使用 DUO 针对三类有害内容测试了五款商业内容审核软件和两种 state-of-the-art 模型。结果表明，DUO 在测试审核软件时错误发现率（EFR）高达 100%。此外，我们利用 DUO 生成的测试用例对所探索的两种模型进行重新训练，在保持原测试集准确率的同时大幅提升了模型鲁棒性。
引用
@article{arxiv.2305.13623,
title = {Validating Multimedia Content Moderation Software via Semantic Fusion},
author = {Wenxuan Wang and Jingyuan Huang and Chang Chen and Jiazhen Gu and Jianping Zhang and Weibin Wu and Pinjia He and Michael Lyu},
journal= {arXiv preprint arXiv:2305.13623},
year = {2023}
}
备注
Accepted by ISSTA 2023