ROPUST：通过光子处理器与合成梯度的微调提升鲁棒性
计算机视觉与模式识别
2021-08-10 v1 机器学习
摘要
对抗攻击的鲁棒性通常通过使用投影梯度下降的昂贵对抗训练来获得。在此我们引入 ROPUST，一种极为简单高效的方法，利用鲁棒的预训练模型并进一步提升其鲁棒性，且不以自然精度为代价。我们的技术依赖于使用光子协处理器光学处理单元（OPU），以及使用直接反馈对齐（一种合成梯度训练方案）执行的微调步骤。我们在 RobustBench 中针对四种攻击测试了九个不同模型上的方法，持续优于 SOTA 性能。我们对防御的各个单一组件进行了消融研究，表明鲁棒性源于参数混淆和替代训练方法。我们还引入了相位恢复攻击，专门设计用于提高攻击者针对我们自身防御的威胁水平。我们表明，即使使用 SOTA 相位恢复技术，ROPUST 依然是一种有效的防御。
引用
@article{arxiv.2108.04217,
title = {ROPUST: Improving Robustness through Fine-tuning with Photonic Processors and Synthetic Gradients},
author = {Alessandro Cappelli and Julien Launay and Laurent Meunier and Ruben Ohana and Iacopo Poli},
journal= {arXiv preprint arXiv:2108.04217},
year = {2021}
}
备注
12 pages, 7 figures