深度神经网络的张成空间恢复及其在输入混淆中的应用

深度神经网络的巨大成功激发了对这些网络基本性质更深入理解的需求，但所提出的许多理论结果仅适用于浅层网络。本文研究理解深度网络有意义输入空间的一个重要原语：张成空间恢复。对于 $k<n$，令 $\mathbf{A} \in \mathbb{R}^{k \times n}$ 为任意前馈神经网络 $M:\mathbb{R}^n \to \mathbb{R}$ 的最内层权重矩阵，因此 $M(x)$ 可写为 $M(x) = \sigma(\mathbf{A} x)$，其中 $\sigma:\mathbb{R}^k \to \mathbb{R}$ 为某网络。目标是在仅能查询 $M(x)$ 值的预言机访问下恢复 $\mathbf{A}$ 的行张成空间。我们证明，若 $M$ 是具有 ReLU 激活函数的多层网络，则部分恢复是可能的：即我们可以使用对 $M(x)$ 的 poly$(n)$ 次非自适应查询，可证明地恢复 $\mathbf{A}$ 行张成空间中的 $k/2$ 个线性无关向量。此外，若 $M$ 具有可微激活函数，我们证明即使输出先经过符号或 $0/1$ 阈值函数，也能实现完整张成空间恢复；此情形下我们的算法是自适应的。在实验上，我们确认完整张成空间恢复并非总是可行，但仅对不切实际地薄的层如此。对于合理宽度的网络，我们在随机网络及在 MNIST 数据上训练的网络上均实现了完整张成空间恢复。此外，我们展示了张成空间恢复作为一种攻击的效用：通过受控随机噪声混淆的数据诱导神经网络将其误分类为合理输入。