仇恨表情包挑战：一种增强的多模态框架
计算机视觉与模式识别
2021-12-22 v1 人工智能
摘要
由 Facebook AI 提出的仇恨表情包挑战（Hateful Meme Challenge）吸引了全球参赛者。该挑战聚焦于检测多模态表情包中的仇恨言论。多种最先进的深度学习模型已被应用于此问题，挑战排行榜上的性能也持续得到提升。本文增强了仇恨检测框架，包括利用 Detectron 进行特征提取，探索具有不同损失函数的 VisualBERT 与 UNITER 模型的不同配置，研究仇恨表情包与敏感文本特征之间的关联，并最终构建集成方法以提升模型性能。我们微调后的 VisualBERT、UNITER 及集成方法在挑战测试集上的 AUROC 分别达到 0.765、0.790 和 0.803，优于基线模型。我们的代码可在 https://github.com/yatingtian/hateful-meme 获取。
引用
@article{arxiv.2112.11244,
title = {Hateful Memes Challenge: An Enhanced Multimodal Framework},
author = {Aijing Gao and Bingjun Wang and Jiaqi Yin and Yating Tian},
journal= {arXiv preprint arXiv:2112.11244},
year = {2021}
}