利用数据增强提升多模态模型性能：Facebook 仇恨表情包挑战赛方案
机器学习
2021-06-23 v2 计算机与社会
摘要
仇恨内容检测是深度学习能够且应当产生重大影响的领域之一。Facebook 的仇恨表情包挑战赛通过要求参赛者使用深度学习算法检测多模态表情包中的仇恨言论，助力实现此种潜力。在本文中，我们使用了多模态预训练模型 VilBERT 和 Visual BERT。我们通过添加由数据增强生成的训练数据集来提升模型性能。扩大训练数据集帮助我们借助 Visual BERT 模型在 AUROC 上获得超过 2% 的提升。我们的方法在挑战赛测试集上取得了 0.7439 的 AUROC 以及 0.7037 的准确率，展现出显著进展。
引用
@article{arxiv.2105.13132,
title = {Enhance Multimodal Model Performance with Data Augmentation: Facebook Hateful Meme Challenge Solution},
author = {Yang Li and Zinc Zhang and Hutchin Huang},
journal= {arXiv preprint arXiv:2105.13132},
year = {2021}
}
备注
Our code is available at: https://github.com/yangland/hatefulchallenge