增强视觉变换器鲁棒性：防御性扩散
计算机视觉与模式识别
2023-05-16 v1 人工智能
摘要
医疗数据中隐私与保密性在医疗环境中至关重要。ViT 作为 SOTA 视觉模型，依赖大量患者数据进行训练，这引发了关于数据安全及未授权访问可能性的担忧。攻击者可能利用 ViT 中的漏洞提取敏感患者信息并损害患者隐私。本工作针对这些漏洞，以确保 ViT 在医疗应用中的可信赖性与可靠性。在此工作中，我们引入了一种防御性扩散技术作为对抗净化器，以消除攻击者在原始图像中引入的对抗噪声。通过利用扩散模型的去噪能力，我们采用反向扩散过程有效消除攻击样本中的对抗噪声，从而得到更干净的图像并输入至 ViT 模块。我们的发现证明了扩散模型在消除图像中与攻击无关的对抗噪声方面的有效性。此外，我们提议将知识蒸馏与我们的框架相结合，以获得一个计算高效且对灰盒攻击鲁棒轻量级学生模型。我们的方法与 SOTA 基线方法 SEViT 的比较表明，我们的工作能够超越该基线。在公开可用的肺结核 X 光数据集上进行的大量实验验证了我们所提架构的计算效率与改进的鲁棒性。
引用
@article{arxiv.2305.08031,
title = {On enhancing the robustness of Vision Transformers: Defensive Diffusion},
author = {Raza Imam and Muhammad Huzaifa and Mohammed El-Amine Azz},
journal= {arXiv preprint arXiv:2305.08031},
year = {2023}
}
备注
Our code is publicly available at https://github.com/Muhammad-Huzaifaa/Defensive_Diffusion