多模态必然更优吗？多模态假新闻检测的鲁棒性评估
人工智能
2022-06-20 v1 计算机与社会
社会与信息网络
摘要
假新闻的泛滥及其严重的负面社会影响，使得假新闻检测方法成为网络管理者必不可少的工具。同时，社交媒体的多媒体特性使得多模态假新闻检测因其比单模态检测方法能捕捉更多模态特征而广受欢迎。然而，当前关于多模态检测的文献更倾向于追求检测准确率，而忽视了检测器的鲁棒性。为解决这一问题，我们提出了一种对多模态假新闻检测器的全面鲁棒性评估。在这项工作中，我们模拟恶意用户和开发者的攻击方式，即发布假新闻和注入后门。具体而言，我们使用五种对抗攻击和两种后门攻击方法对多模态检测器进行评估。实验结果表明：(1) 最先进检测器的检测性能在对抗攻击下显著下降，甚至比通用检测器更差；(2) 大多数多模态检测器在视觉模态遭受攻击时比文本模态更脆弱；(3) 流行事件的图像在检测器遭受后门攻击时会导致其显著退化；(4) 这些检测器在多模态攻击下的性能比单模态攻击下更差；(5) 防御方法会提升多模态检测器的鲁棒性。
引用
@article{arxiv.2206.08788,
title = {Is Multi-Modal Necessarily Better? Robustness Evaluation of Multi-modal Fake News Detection},
author = {Jinyin Chen and Chengyu Jia and Haibin Zheng and Ruoxi Chen and Chenbo Fu},
journal= {arXiv preprint arXiv:2206.08788},
year = {2022}
}