MHS-STMA：基于可扩展Transformer多层注意力框架的多模态仇恨言论检测
计算与语言
2024-09-18 v2
摘要
社交媒体对人们的生活产生了重大影响。近年来，社交媒体上的仇恨言论已成为社会最严重的问题之一。文本和图片是文章中分布的两种多模态数据形式。以往的方法主要关注单模态分析。此外，在进行多模态分析时，研究者往往忽略了保留每种模态特有特征的需求。为此，本文提出了一种名为基于Transformer多层注意力框架（STMA）的可扩展多模态仇恨内容检测架构。该架构由三个主要组成部分构成：基于注意力的深度学习机制、视觉注意力机制编码器和标题注意力机制编码器。为识别仇恨内容，每个组件使用各种注意力过程并以独特方式处理多模态数据。通过在Hateful memes、MultiOff和MMHS150K等三个仇恨言论数据集上进行多项评估，验证了所提出方法的有效性。结果表明，在所有三个数据集上，所提出的方法均优于基线方法。
引用
@article{arxiv.2409.05136,
title = {MHS-STMA: Multimodal Hate Speech Detection via Scalable Transformer-Based Multilevel Attention Framework},
author = {Anusha Chhabra and Dinesh Kumar Vishwakarma},
journal= {arXiv preprint arXiv:2409.05136},
year = {2024}
}