具有矩阵指数激活函数三层网络的解析解

在实际应用中，深层网络往往比浅层网络更强大，但这一点在理论上尚未得到充分理解。本文发现了具有矩阵指数激活函数的三层网络的解析解，即 $$f(X)=W_3\exp(W_2\exp(W_1X)), X\in \mathbb{C}^{d\times d}$$ 对于方程 $$Y_1=f(X_1),Y_2=f(X_2)$$ 在仅具有可逆假设的情况下具有解析解。我们的证明显示深度的力量以及非线性激活函数的作用，因为单层网络只能解一个方程，即$Y=WX$。