SEDA：用于鲁棒胸部 X 光分类的具有防御性蒸馏与对抗训练的自集成 ViT
计算机视觉与模式识别
2023-08-16 v1
摘要
深度学习方法近来在医学影像应用中采用增多。然而，近期深度学习解决方案中被揭示的较高脆弱性可能阻碍未来的采用。特别是，视觉Transformer（ViT）对抗击、隐私和机密性攻击的脆弱性引发了人们对其在医疗环境中可靠性的严重担忧。本工作旨在增强用于结核病胸部 X 光分类任务的自集成 ViT 的鲁棒性。我们提出具有防御性蒸馏与对抗训练的自集成 ViT（SEDA）。SEDA 利用高效的 CNN 模块从 ViT 中间块提取的特征表示中学习具有不同抽象层次的空间特征，这些特征在很大程度上不受对抗扰动影响。此外，SEDA 将对抗训练与防御性蒸馏结合使用，以提高针对对抗者的鲁棒性。使用对抗样本进行训练可带来更好的模型泛化能力，并提升其处理扰动的能力。使用软概率进行蒸馏为输出概率引入不确定性和变化，使对抗和隐私攻击更难以得手。在公开可用的结核病 X 光数据集上利用所提架构和训练范式进行的广泛实验表明，与 SEViT 相比，SEDA 在计算效率上具有 SOTA 效能，框架轻量 70 倍，且鲁棒性提升 +9%。
引用
@article{arxiv.2308.07874,
title = {SEDA: Self-Ensembling ViT with Defensive Distillation and Adversarial Training for robust Chest X-rays Classification},
author = {Raza Imam and Ibrahim Almakky and Salma Alrashdi and Baketah Alrashdi and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2308.07874},
year = {2023}
}
备注
Accepted at DART (Domain Adaptation and Representation Transfer) Workshop, MICCAI, 2023. Code: https://github.com/Razaimam45/SEDA