单调深度平衡模型的半代数表示及其在认证中的应用
最优化与控制
2021-06-04 v1
摘要
深度平衡模型基于隐式定义的函数关系,并展现出优于传统深度网络的竞争性能。单调算子平衡网络(monDEQ)在保留有趣性能的同时具有额外的理论保证。用于经典深度网络的现有认证工具不能直接应用于monDEQ,而针对后者的工具少得多。我们引入基于ReLU的monDEQ的半代数表示,其允许通过半定规划(SDP)近似相应的输入输出关系。我们给出网络认证的若干应用,并获得以下问题的SDP模型:鲁棒性认证、Lipschitz常数估计、椭球不确定性传播。我们使用这些模型针对一般范数认证monDEQ的鲁棒性。实验结果表明所提模型优于现有的monDEQ认证方法。此外,我们的研究表明monDEQ对扰动的鲁棒性远强于对扰动的鲁棒性。
引用
@article{arxiv.2106.01453,
title = {Semialgebraic Representation of Monotone Deep Equilibrium Models and Applications to Certification},
author = {Tong Chen and Jean-Bernard Lasserre and Victor Magron and Edouard Pauwels},
journal= {arXiv preprint arXiv:2106.01453},
year = {2021}
}
备注
16 pages, 4 tables, 2 figures