缺失模态下的鲁健有害表情检测：基于共享表示学习
计算机视觉与模式识别
2026-02-03 v1
摘要
互联网表情是一种强大的沟通工具，能够传播政治、心理和社会文化思想。然而，它们可能具有危害性，可用于针对特定个人或群体散布仇恨。尽管已有研究致力于设计新的检测方法，但这些方法往往依赖于模态完整的数据，如文本和图像。在实际场景中，由于 OCR 质量差等问题，某些模态（如文本）可能缺失，导致现有方法对缺失信息敏感，性能恶化。为此，本文提出首创性地全面调查在模态不完整数据下有害表情检测方法的行为。具体而言，我们提出一种新的基线方法，通过独立投影多个模态来学习共享表示。当数据模态不完整时，可利用这些共享表示。实验结果表明，在文本缺失的情况下，我们的方法优于现有方法。此外，这些结果表明，我们的方法允许更好地整合视觉特征，减少对文本的依赖，在文本信息缺失的场景中提高鲁健性。我们的工作代表了推进有害表情检测在现实世界应用的重要一步，尤其是在某些模态缺失的情况下。
引用
@article{arxiv.2602.01101,
title = {Robust Harmful Meme Detection under Missing Modalities via Shared Representation Learning},
author = {Felix Breiteneder and Mohammad Belal and Muhammad Saad Saeed and Shahed Masoudian and Usman Naseem and Kulshrestha Juhi and Markus Schedl and Shah Nawaz},
journal= {arXiv preprint arXiv:2602.01101},
year = {2026}
}
备注
Accepted at WWW2026