基于带余正乘子的积分二次约束的递归神经网络稳定性分析
最优化与控制
2022-02-10 v1 机器学习
摘要
本文关注基于积分二次约束（IQC）框架的递归神经网络（RNNs）稳定性分析。修正线性单元（ReLU）通常用作RNN的激活函数，且ReLU关于其输入和输出信号具有特定的非负性性质。因此，若能导出考虑此类非负性性质的基于IQC的稳定性条件，则是有效的。然而，这种非负性（线性）性质很难由定义在半正定锥上的现有乘子捕捉。为克服这一困难，我们将标准半正定锥放宽为余正锥，并采用余正乘子来捕捉非负性性质。我们证明，在IQC框架内，我们可以采用余正乘子（或其内近似）与现有乘子（如Zames-Falb乘子和多胞体边界乘子）结合使用，这直接使我们能够确保引入余正乘子会带来更优（即不那么保守）的结果。最后，我们通过数值算例说明了带余正乘子的基于IQC的稳定性条件的有效性。
引用
@article{arxiv.2202.04592,
title = {Stability Analysis of Recurrent Neural Networks by IQC with Copositive Mutipliers},
author = {Yoshio Ebihara and Hayato Waki and Victor Magron and Ngoc Hoang Anh Mai and Dimitri Peaucelle and Sophie Tarbouriech},
journal= {arXiv preprint arXiv:2202.04592},
year = {2022}
}
备注
6 pages, 2 figures. arXiv admin note: text overlap with arXiv:2011.12726