眼见不为实:针对多模态神经元的对抗攻击
机器学习
2021-03-22 v1 计算与语言
计算机视觉与模式识别
摘要
随着Open AI发布其CLIP模型(对比语言-图像预训练),多模态神经网络如今提供了将阅读与视觉识别相结合的易用模型。其网络为探究其兼具阅读文本与分类视觉对象的双重能力提供了新途径。本文展示了几类新的对抗攻击,涵盖为基本排版、概念性和图像符号性输入,这些输入被生成以欺骗模型做出错误或不合理的分类。我们证明,相互矛盾文本与图像信号可混淆模型,使其选择错误的(视觉)选项。如同先前作者,我们通过实例表明CLIP模型倾向于先阅读、后观看,我们将此现象描述为“眼见不为实”(reading isn't believing)。
引用
@article{arxiv.2103.10480,
title = {Reading Isn't Believing: Adversarial Attacks On Multi-Modal Neurons},
author = {David A. Noever and Samantha E. Miller Noever},
journal= {arXiv preprint arXiv:2103.10480},
year = {2021}
}