MTTM：面向文本内容审核软件的蜕变测试框架
计算与语言
2023-02-14 v1 软件工程
摘要
Twitter和Facebook等社交媒体平台的指数级增长彻底改变了人类社会中的文本交流与文本内容发布。然而，它们正日益被利用来传播有毒内容，如仇恨言论、恶意广告和色情内容，这可能带来高度负面的影响（例如，对青少年心理健康的危害）。研究者和从业者一直热衷于开发并广泛部署文本内容审核软件以应对该问题。然而，我们发现恶意用户可以通过仅更改有毒内容中的少数词语来规避审核。此外，现代内容审核软件在面对恶意输入时的性能仍未被充分探索。为此，我们提出MTTM，一个面向文本内容审核软件的蜕变测试（Metamorphic Testing）框架。具体而言，我们对从真实用户收集的2000条文本消息进行了试点研究，并总结了跨越字符、词语和句子三个扰动层级的十一种蜕变关系。MTTM在这些有毒文本内容上运用这些蜕变关系来生成测试用例，这些用例仍是有毒的却可能规避审核。在我们的评估中，我们采用MTTM测试了三款商业文本内容审核软件以及两种最先进的（SOTA）审核算法，针对三类有毒内容。结果表明，MTTM在测试由Google、百度和华为提供的商业审核软件时分别达到了高达83.9%、51%和82.5%的错误发现率（EFR），并且在测试学术界最先进算法时获得了高达91.2%的EFR。此外，我们利用MTTM生成的测试用例重新训练我们所探究的模型，在保持原测试集准确率的同时大幅提升了模型鲁棒性（EFR从0%降至5.9%）。
引用
@article{arxiv.2302.05706,
title = {MTTM: Metamorphic Testing for Textual Content Moderation Software},
author = {Wenxuan Wang and Jen-tse Huang and Weibin Wu and Jianping Zhang and Yizhan Huang and Shuqing Li and Pinjia He and Michael Lyu},
journal= {arXiv preprint arXiv:2302.05706},
year = {2023}
}
备注
Accepted by ICSE 2023