仇恨模因挑战的下一步
机器学习
2022-12-20 v2 人工智能
计算机视觉与模式识别
摘要
最先进的图像与文本分类模型，如卷积神经网络（CNN）和 Transformer，长期以来已能令人满意地分类各自的单模态推理，准确率接近或超过人类水平。然而，当数据集中加入困难样本（如良性混淆项）时，对于嵌入文本的图像（如仇恨模因），使用单模态推理很难分类。我们基于仇恨模因挑战（Hateful Meme Challenge）中获胜团队框架，尝试在 Facebook AI 的 Hateful Memes 数据集之外生成更多带标签的模因。为增加带标签模因数量，我们利用从 Memotion Dataset 7K 收集的 newly introduced、未标记模因的伪标签探索半监督学习。我们发现，对未标记数据的半监督学习任务需要人工干预和过滤，且添加有限数量的新数据并未带来额外的分类性能提升。
引用
@article{arxiv.2212.06655,
title = {The Hateful Memes Challenge Next Move},
author = {Weijun Jin and Lance Wilhelm},
journal= {arXiv preprint arXiv:2212.06655},
year = {2022}
}