线性反向传播及其收敛性的理论视角
机器学习
2024-01-11 v2 密码学与安全
计算机视觉与模式识别
神经与进化计算
摘要
反向传播（BP）被广泛用于计算深度神经网络（DNNs）中的梯度。BP 常与随机梯度下降（SGD）或其变体一起应用，被视为包括 DNN 训练和对抗攻击/防御在内的多种机器学习任务中的事实标准选择。最近，Guo 等人引入了名为 LinBP 的 BP 线性变体，用于生成更具可迁移性的对抗样本以执行黑盒攻击。尽管它在黑盒攻击中被经验证明有效，但对此类方法的理论研究和收敛性分析尚缺乏。本文通过对涉及神经网络的学习任务（包括对抗攻击和模型训练）中的 LinBP 提供理论分析，作为对 Guo 等人论文的补充和某种程度的扩展。我们证明，令人惊讶的是，在相同的超参数设置下，与 BP 相比，LinBP 能在这些任务中带来更快的收敛。我们通过大量实验证实了我们的理论结果。
引用
@article{arxiv.2112.11018,
title = {A Theoretical View of Linear Backpropagation and Its Convergence},
author = {Ziang Li and Yiwen Guo and Haodi Liu and Changshui Zhang},
journal= {arXiv preprint arXiv:2112.11018},
year = {2024}
}
备注
This paper is accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence