攻击下的高斯溅射:探讨 3D 对象的对抗性噪声
计算机视觉与模式识别
2024-12-05 v1 人工智能
图像与视频处理
摘要
3D 高斯溅射已 advances radiance field 重建,使其能够在 3D 建模中实现高质量的视图合成和快速渲染。尽管 2D 图像对目标检测模型的对抗攻击已广泛研究,但其对 3D 模型的影响仍鲜有探讨。本工作引入了掩码迭代快速梯度符号方法(M-IFGSM),旨在生成针对 CLIP 视觉语言模型的对抗性噪声。M-IFGSM 特别通过聚焦掩码区域的扰动来改变感兴趣对象,从而降低 CLIP zero-shot 目标检测能力在应用于 3D 模型时的性能。我们使用来自 Common Objects 3D (CO3D) 数据集的八个对象,展示了该方法有效地降低了模型的准确性和置信水平,尽管对人类观察者而言,对抗性噪声几乎不可察觉。原始模型渲染的 Top-1 准确率从 95.4% 下降至 12.5%(针对训练图像)以及从 91.2% 下降至 35.4%(针对测试图像),置信水平也反映了这种从真实分类到误分类的转变,凸显了对 3D 模型在自动驾驶、机器人和监控等应用中的风险。本研究的意义在于揭示了现代 3D 视觉模型(包括辐射场)的漏洞,从而推动开发更稳健的防御措施和安全措施,以应对关键实际应用中的威胁。
引用
@article{arxiv.2412.02803,
title = {Gaussian Splatting Under Attack: Investigating Adversarial Noise in 3D Objects},
author = {Abdurrahman Zeybey and Mehmet Ergezer and Tommy Nguyen},
journal= {arXiv preprint arXiv:2412.02803},
year = {2024}
}
备注
Accepted to Safe Generative AI Workshop @ NeurIPS 2024: https://neurips.cc/virtual/2024/workshop/84705