COSMOS：利用自监督学习捕捉脱离语境的虚假信息
计算机视觉与模式识别
2021-04-23 v3 人工智能
摘要
尽管近期对 DeepFakes 的关注颇多，但在社交媒体上误导受众最普遍的方式之一是在全新但虚假的语境中使用未经篡改的图像。为应对这些挑战并支持事实核查人员，我们提出一种自动检测脱离语境的图像与文本对的新方法。我们的核心见解是利用图像与文本的接地（grounding）来区分仅凭语言无法消歧的脱离语境场景。我们提出一种自监督训练策略，仅需一组带标注图像。在训练时，我们的方法学习将图像中的单个对象与文本声明有选择地对齐，无需显式监督。在测试时，我们检查两个标注是否对应图像中同一对象但语义不同，从而能够做出相当准确的脱离语境预测。我们的方法达到了 85% 的脱离语境检测准确率。为促进该任务的基准测试，我们构建了一个大规模数据集，包含来自各类新闻网站、博客和社交媒体帖子的 200K 图像与 450K 文本标注。数据集与源代码公开于 https://shivangi-aneja.github.io/projects/cosmos/。
引用
@article{arxiv.2101.06278,
title = {COSMOS: Catching Out-of-Context Misinformation with Self-Supervised Learning},
author = {Shivangi Aneja and Chris Bregler and Matthias Nießner},
journal= {arXiv preprint arXiv:2101.06278},
year = {2021}
}
备注
Video : https://youtu.be/riI3Cl2xy10