基于注意力的对抗鲁棒蒸馏在低功耗IoT设备无线电信号分类中的应用
机器学习
2025-06-16 v1 人工智能
摘要
由于Transformer在自然语言处理和计算机视觉等众多应用中的巨大成功，Transformer已成功应用于自动调制分类。我们已证明基于Transformer的无线电信号分类容易受到称为对抗样本的不可感知且精心设计的攻击。因此，我们提出了一种针对Transformer-based调制分类中对抗样本的防御系统。考虑到对计算高效架构的需求，特别是针对物联网（IoT）应用或电源受限环境中设备的运行，我们提出了一种用于调制分类的紧凑型Transformer。对抗训练等鲁棒训练的优势在紧凑型Transformer中可能无法实现。通过证明这一点，我们提出了一种新型紧凑型Transformer，可以在对抗攻击存在的情况下增强鲁棒性。新方法旨在将对抗注意力图从鲁棒训练的大型Transformer转移到紧凑型Transformer。所提出的方法在考虑的白盒场景（包括快速梯度法和投影梯度下降攻击）中优于最先进的技术。我们提供了底层工作机制的推理，并调查了不同架构之间对抗样本的可迁移性。所提出的方法有潜力保护Transformer免受对抗样本可迁移性的影响。
引用
@article{arxiv.2506.11892,
title = {Attention-based Adversarial Robust Distillation in Radio Signal Classifications for Low-Power IoT Devices},
author = {Lu Zhang and Sangarapillai Lambotharan and Gan Zheng and Guisheng Liao and Basil AsSadhan and Fabio Roli},
journal= {arXiv preprint arXiv:2506.11892},
year = {2025}
}