基于平衡传播训练的能量模型具有何种鲁棒性？
机器学习
2024-01-23 v1 计算机视觉与模式识别
摘要
深度神经网络（DNN）很容易被人类难以察觉的对抗性扰动所欺骗。对抗训练（将对抗样本加入训练集的过程）是目前针对对抗攻击的最先进的防御方法，但它会降低模型在干净输入上的准确率，计算成本高昂，且对自然噪声的鲁棒性较弱。相比之下，能量模型（EBM）专为在神经形态硬件和物理系统中高效实现而设计，它结合了从每层到前一层的反馈连接，产生了一种循环的深度吸引子架构，我们假设这种架构能使它们具有天然的鲁棒性。我们的工作首次探索了 EBM 对自然损坏和对抗攻击的鲁棒性，我们使用 CIFAR-10 和 CIFAR-100 数据集进行了研究。我们证明，EBM 比 Transformer 具有更强的鲁棒性，并且在基于梯度的（白盒）攻击、基于查询的（黑盒）攻击和自然扰动上，表现出与对抗训练的 DNN 相当的鲁棒性，且没有牺牲干净准确率，也不需要对抗训练或额外的训练技术。
引用
@article{arxiv.2401.11543,
title = {How Robust Are Energy-Based Models Trained With Equilibrium Propagation?},
author = {Siddharth Mansingh and Michal Kucer and Garrett Kenyon and Juston Moore and Michael Teti},
journal= {arXiv preprint arXiv:2401.11543},
year = {2024}
}