利用字幕增强样本改进仇恨表情包检测
计算机视觉与模式识别
2021-09-23 v1 人工智能
摘要
近期推出的仇恨表情包挑战显示了判断一个表情包是否含有仇恨内容的困难。具体而言，单模态语言模型与多模态视觉-语言模型均无法达到人类水平的性能。受建模图像内容与叠加文本之间对比的需求驱动，我们建议应用现成的图像字幕工具以捕捉前者。我们证明，在各种单模态与多模态模型的微调过程中加入此类自动字幕可改善结果。此外，在单模态情形下，在增强字幕与原始字幕对上继续预训练语言模型，对分类准确率极为有益。
引用
@article{arxiv.2109.10649,
title = {Caption Enriched Samples for Improving Hateful Memes Detection},
author = {Efrat Blaier and Itzik Malkiel and Lior Wolf},
journal= {arXiv preprint arXiv:2109.10649},
year = {2021}
}
备注
EMNLP 2021