Meme-ingful 分析：通过多模态解释增强对 Meme 中网络欺凌的理解
计算与语言
2024-01-19 v1
摘要
网络 meme 在传达政治、心理和社会文化思想方面已获得重要影响力。虽然 meme 通常是幽默的，但利用 meme 进行网络钓鱼和网络欺凌的现象日益增多。尽管已经开发了许多基于深度学习的有效模型来检测具有攻击性的多模态 meme，但在可解释性方面所做的工作仍然很少。最近《通用数据保护条例》等法律中关于“解释权”的规定，推动了开发可解释模型而非仅关注性能的研究。受此启发，我们引入了 {\em MultiBully-Ex}，这是首个用于混合编码网络欺凌 meme 多模态解释的基准数据集。在此，视觉和文本模态均被突出显示，以解释为何给定的 meme 构成网络欺凌。我们提出了一种基于 Contrastive Language-Image Pretraining (CLIP) 投影的多模态共享-私有多任务方法，用于对 meme 进行视觉和文本解释。实验结果表明，使用多模态解释进行训练可提高生成文本理由的性能，并能更准确地识别支持决策的视觉证据，同时带来可靠的性能提升。
引用
@article{arxiv.2401.09899,
title = {Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations},
author = {Prince Jha and Krishanu Maity and Raghav Jain and Apoorv Verma and Sriparna Saha and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:2401.09899},
year = {2024}
}
备注
EACL2024