多模态可解释互联网迷因分类
人工智能
2023-04-10 v3 计算与语言
机器学习
摘要
在当前在线平台已在各类地缘政治事件和社会议题中被有效武器化的背景下，互联网迷因使大规模公平内容审核变得更加困难。现有迷因分类与追踪工作聚焦于未显式考虑迷因语义或其创建背景的黑盒方法。本文中，我们追求一种模块化且可解释的互联网迷因理解架构。我们设计并实现了多模态分类方法，这些方法在训练样本上执行基于样例和基于原型的推理，同时利用文本与视觉 SOTA 模型来表示各个样本。我们研究了我们的模块化可解释模型在两个现有任务中检测有害迷因的相关性：仇恨言论检测与厌女分类。我们比较了基于样例与基于原型方法之间，以及文本、视觉与多模态模型之间在不同有害性类别（如刻板印象与物化）上的性能。我们设计了一个用户友好界面，便于对所有模型针对任一给定迷因检索出的样例进行 comparative 分析，从而向社区阐明这些可解释方法的优势与局限。
引用
@article{arxiv.2212.05612,
title = {Multimodal and Explainable Internet Meme Classification},
author = {Abhinav Kumar Thakur and Filip Ilievski and Hông-Ân Sandlin and Zhivar Sourati and Luca Luceri and Riccardo Tommasini and Alain Mermoud},
journal= {arXiv preprint arXiv:2212.05612},
year = {2023}
}