半定约束下的神经网络训练
机器学习
2022-09-21 v3 系统与控制
系统与控制
最优化与控制
机器学习
摘要
本文研究半定约束下的神经网络（NNs）训练，其允许在训练中提供鲁棒性与稳定性保证。我们特别关注神经网络的 Lipschitz 界。利用底层矩阵约束的带状结构，我们基于内点法为此类神经网络训练问题建立了高效且可扩展的训练方案。我们的实现允许在大规模深度神经网络（如 Wasserstein 生成对抗网络（WGANs））的训练中通过半定约束强制 Lipschitz 约束。在数值示例中，我们展示了方法的优越性及其在 WGAN 训练中的适用性。
引用
@article{arxiv.2201.00632,
title = {Neural network training under semidefinite constraints},
author = {Patricia Pauli and Niklas Funcke and Dennis Gramlich and Mohamed Amine Msalmi and Frank Allgöwer},
journal= {arXiv preprint arXiv:2201.00632},
year = {2022}
}
备注
to be published in 61st IEEE Conference on Decision and Control