多模态讨论 Transformer：融合文本、图像与图 Transformer 检测社交媒体仇恨言论
计算与语言
2024-02-23 v4 机器学习
多媒体
社会与信息网络
摘要
我们提出了多模态讨论 Transformer（mDT），一种用于检测 Reddit 等在线社交网络中仇恨言论的新方法。与传统的仅基于评论的方法不同，我们将某条评论标记为仇恨言论的方式，是对基于讨论语境的文本与图像进行整体分析。具体做法是利用图 Transformer 捕捉某条评论所处讨论中的上下文关系，并以此为基础构建交织的融合层来结合文本与图像嵌入，而非对各模态分别处理。为评估我们的工作，我们提出了一个新数据集 HatefulDiscussions，包含来自 Reddit 上多个在线社区的完整多模态讨论。我们将模型性能与仅处理单条评论的基线方法进行对比，并进行了大量消融实验。
引用
@article{arxiv.2307.09312,
title = {Multi-Modal Discussion Transformer: Integrating Text, Images and Graph Transformers to Detect Hate Speech on Social Media},
author = {Liam Hebert and Gaurav Sahu and Yuxuan Guo and Nanda Kishore Sreenivas and Lukasz Golab and Robin Cohen},
journal= {arXiv preprint arXiv:2307.09312},
year = {2024}
}
备注
Accepted to AAAI 2024 (AI for Social Impact Track)