基于多模态对比学习的（仇恨）模因演化研究
社会与信息网络
2023-07-10 v2 密码学与安全
计算机与社会
机器学习
摘要
仇恨模因在网上的传播对社交媒体平台及现实世界产生负面影响。检测仇恨模因具有挑战性，其原因之一是模因的演化特性；新的仇恨模因可通过将仇恨内涵与其他文化观念或符号融合而产生。本文提出一种框架，利用多模态对比学习模型（特别是OpenAI的CLIP）来识别仇恨内容的攻击目标并系统研究仇恨模因的演化。我们发现CLIP生成的嵌入中存在语义规律性，可描述同一模态（图像）内或跨模态（图像与文本）的语义关系。利用该性质，我们研究如何通过组合多张图像中的视觉元素或将文本信息与仇恨图像融合来创建仇恨模因。我们以反犹太模因（尤其是Happy Merchant模因）为重点，展示了框架分析仇恨模因演化的能力。在从4chan提取的数据集上运用框架，我们找到3.3K个Happy Merchant模因变体，其中部分关联特定国家、人物或组织。我们设想该框架可通过标记仇恨模因新变体来辅助人工审核员，以便其人工核实并缓解网络仇恨内容问题。
引用
@article{arxiv.2212.06573,
title = {On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive Learning},
author = {Yiting Qu and Xinlei He and Shannon Pierson and Michael Backes and Yang Zhang and Savvas Zannettou},
journal= {arXiv preprint arXiv:2212.06573},
year = {2023}
}
备注
To Appear in the 44th IEEE Symposium on Security and Privacy, May 22-25, 2023