多线性压缩感知及其在卷积线性网络中的应用

我们研究一种赋予结构的深度线性网络。它取为由相乘 $K$ 个矩阵（称为因子，对应于各层的作用）得到的矩阵 $X$ 的形式。每一层的作用（即一个因子）通过对满足约束的参数向量施加固定线性算子而获得。层数不限。假设给定 $X$ 且已估计出因子，估计因子乘积与 $X$ 之间的误差（即重构误差）是统计风险或经验风险。本文中，我们给出网络拓扑上稳定性性质成立的一个充分必要条件。该稳定性性质要求定义因子的参数的误差（即恢复参数的稳定性）随重构误差（即风险）线性缩放。因此，在此网络拓扑条件下，任何成功的学习任务都导致稳定定义的特征，从而是可解释的层/网络。为此，我们首先评估 Segre 嵌入及其逆对距离的扭曲程度。然后，我们证明任何深度结构化线性网络都可被视作一个通用的多线性问题（利用 Segre 嵌入）。这就是张量提升。利用张量提升，我们给出因子（直至尺度重排）可辨识性的充分必要条件。我们最终给出称为 \NSPlong~（由于与压缩感知框架中通常的零空间性质类比）的充分必要条件，它保证稳定性性质成立。我们用一个实际例子说明该理论，其中深度结构化线性网络是一个卷积线性网络。正如预期，这些条件相当强但并非空泛。可对网络拓扑实施简单测试以检验条件是否成立。