鲁棒单隐层神经网络训练的实用凸公式化
机器学习
2021-05-27 v1 计算复杂性
机器学习
摘要
近期工作表明，单隐层、标量输出全连接 ReLU 神经网络的训练可重新表述为有限维凸规划。遗憾的是，此类凸规划的规模随数据量指数增长。本工作中，我们证明具有线性复杂度的随机过程能很好地近似精确公式。此外，我们推导出一种凸优化方法，以高效求解“对抗训练”问题，即训练对对抗性输入扰动鲁棒的神经网络。我们的方法可应用于二分类与回归，并为当前对抗训练方法（如快速梯度符号法（FGSM）和投影梯度下降（PGD））提供替代方案。我们在实验中证明，所提方法比现有方法取得了明显更好的对抗鲁棒性与性能。
引用
@article{arxiv.2105.12237,
title = {Practical Convex Formulation of Robust One-hidden-layer Neural Network Training},
author = {Yatong Bai and Tanmay Gautam and Yu Gai and Somayeh Sojoudi},
journal= {arXiv preprint arXiv:2105.12237},
year = {2021}
}