利用Alpha透明度欺骗语言与视觉AI系统
计算机视觉与模式识别
2024-02-16 v1 机器学习
摘要
本项研究揭示了一种源自PNG图像文件格式（特别是其alpha透明度层）的新型利用方式，该方式能够欺骗多个AI视觉系统。我们的方法利用这一alpha层作为隐蔽通道，对人类观察者不可见，但对AI图像处理器完全可操作。我们测试的漏洞范围涵盖了来自Apple、Microsoft、Google、Salesforce、Nvidia和Facebook的代表性视觉系统，凸显了该攻击的潜在广度。这一漏洞对现有和已部署的视觉系统（从医学成像到自动驾驶技术）的安全协议提出了挑战。我们的实验表明，受影响的系统（依赖卷积神经网络或最新的多模态语言模型）无法通过简单的补丁或更新快速缓解这些漏洞。相反，它们需要重新训练和架构更改，这表明多模态技术中存在一个持久漏洞，除非未来针对此类视觉-语言利用进行对抗性加固。
引用
@article{arxiv.2402.09671,
title = {Exploiting Alpha Transparency In Language And Vision-Based AI Systems},
author = {David Noever and Forrest McKee},
journal= {arXiv preprint arXiv:2402.09671},
year = {2024}
}