关于深度神经网络上分布鲁棒学习的正则化风险
最优化与控制
2022-03-29 v2 机器学习
概率论
摘要
本文探讨了分布鲁棒学习与不同形式的正则化之间的关系，以加强深度神经网络的鲁棒性。具体地，从一个具体的极小-极大分布鲁棒问题出发，并利用最优传输理论工具，我们推导了该分布鲁棒问题关于相应正则化风险最小化问题的一阶与二阶近似。在深度ResNet模型的背景下，我们将所得正则化问题的结构识别为平均场最优控制问题，其中状态变量的数目与维数在维数无关因子内等于原始非鲁棒问题的维数。利用与这些问题相关的Pontryagin极大值原理，我们提出了一类可扩展的鲁棒神经网络训练算法。我们的分析恢复了文献中已知的一些结果与算法（在全文各处说明的设定下），并给出了许多据我们所知为新颖的理论与算法见解。分析中我们采用了些许工具，认为它们对将来更一般对抗学习问题的分析有所助益。
引用
@article{arxiv.2109.06294,
title = {On the regularized risk of distributionally robust learning over deep neural networks},
author = {Camilo Garcia Trillos and Nicolas Garcia Trillos},
journal= {arXiv preprint arXiv:2109.06294},
year = {2022}
}