JumpReLU:一种针对对抗攻击的改造式防御策略
密码学与安全
2019-04-09 v1 计算机视觉与模式识别
摘要
已有研究表明,非常简单的攻击即可欺骗高度复杂的神经网络架构。特别是所谓的对抗样本,由对人类而言微小或难以察觉的输入数据扰动构造而成,却导致不同预测,这在某些关键应用中可能带来巨大风险。有鉴于此,大量工作致力于开发对抗训练策略以提升模型鲁棒性。这些训练策略在人力和计算时间上均十分昂贵。作为对这些方法的补充,我们提出一种非常简单且廉价的策略,可用于“改造”已训练好的网络以提升其对抗攻击的抵御能力。更具体地,我们提出一种新的激活函数——JumpReLU——在已训练模型中替代ReLU使用时,可在预测精度与鲁棒性之间实现权衡。该权衡由跳跃大小控制,这是一个可在验证阶段调节的超参数。我们的实证结果表明,这提升了模型鲁棒性,可抵御扰动水平大幅增强的对抗攻击。此举仅需用我们的JumpReLU激活函数改造现有网络,无需重新训练模型。此外,我们证明对抗训练(鲁棒)模型亦可从改造中大幅获益。
引用
@article{arxiv.1904.03750,
title = {JumpReLU: A Retrofit Defense Strategy for Adversarial Attacks},
author = {N. Benjamin Erichson and Zhewei Yao and Michael W. Mahoney},
journal= {arXiv preprint arXiv:1904.03750},
year = {2019}
}