RA-BNN：构建鲁棒且准确的二值神经网络以同时防御对抗性比特翻转攻击并提升准确率
机器学习
2021-03-26 v1 密码学与安全
计算机视觉与模式识别
图像与视频处理
摘要
近期提出的对抗性权重攻击，亦称比特翻转攻击（BFA），已显示出以极少量模型参数扰动破坏深度神经网络（DNN）性能的极大成功。为防御此威胁，我们提出 RA-BNN，采用完全二值（即权重与激活均二值）神经网络（BNN）以显著提升 DNN 模型鲁棒性（定义为使准确率降至随机猜测水平所需的比特翻转数）。然而，如此激进的低比特宽度模型存在干净（即无攻击）推理准确率低下的问题。为此，我们提出一种新颖高效的两阶段网络生长方法，称为 Early-Growth。它基于使用 Gumbel-Sigmoid 函数训练的通道级二值掩码，选择性地增长各 BNN 层的通道尺寸。除恢复推理准确率外，生长后的 RA-BNN 对比特翻转攻击也表现出显著更高的抵抗力。在 CIFAR-10 数据集上的评估表明，相较于基线 BNN，所提 RA-BNN 可将干净模型准确率提升约 2-8%，同时将对比特翻转攻击的抵抗力提升超过 125 倍。此外，在 ImageNet 上，当比特翻转量足够大（如 5,000）时，基线 BNN 准确率由 51.9% 降至 4.3%，而我们的 RA-BNN 准确率仅由 60.9% 降至 37.1%（干净准确率提升 9%）。
引用
@article{arxiv.2103.13813,
title = {RA-BNN: Constructing Robust & Accurate Binary Neural Network to Simultaneously Defend Adversarial Bit-Flip Attack and Improve Accuracy},
author = {Adnan Siraj Rakin and Li Yang and Jingtao Li and Fan Yao and Chaitali Chakrabarti and Yu Cao and Jae-sun Seo and Deliang Fan},
journal= {arXiv preprint arXiv:2103.13813},
year = {2021}
}