中文

单调深度平衡模型的半代数表示及其在认证中的应用

最优化与控制 2021-06-04 v1

摘要

深度平衡模型基于隐式定义的函数关系,并展现出优于传统深度网络的竞争性能。单调算子平衡网络(monDEQ)在保留有趣性能的同时具有额外的理论保证。用于经典深度网络的现有认证工具不能直接应用于monDEQ,而针对后者的工具少得多。我们引入基于ReLU的monDEQ的半代数表示,其允许通过半定规划(SDP)近似相应的输入输出关系。我们给出网络认证的若干应用,并获得以下问题的SDP模型:鲁棒性认证、Lipschitz常数估计、椭球不确定性传播。我们使用这些模型针对一般LqL_q范数认证monDEQ的鲁棒性。实验结果表明所提模型优于现有的monDEQ认证方法。此外,我们的研究表明monDEQ对L2L_2扰动的鲁棒性远强于对LL_{\infty}扰动的鲁棒性。

关键词

引用

@article{arxiv.2106.01453,
  title  = {Semialgebraic Representation of Monotone Deep Equilibrium Models and Applications to Certification},
  author = {Tong Chen and Jean-Bernard Lasserre and Victor Magron and Edouard Pauwels},
  journal= {arXiv preprint arXiv:2106.01453},
  year   = {2021}
}

备注

16 pages, 4 tables, 2 figures