稀疏编码与自编码器

在“字典学习”中，给定观测 $y \in \mathbb{R}^n$ 且 $y = A^*x^*$，目标是恢复不相干矩阵 $A^* \in \mathbb{R}^{n \times h}$（通常过完备且假定其列已归一化）以及支撑集大小为 $h^p$（其中 $0 <p < 1$）的稀疏向量 $x^* \in \mathbb{R}^h$。在本工作中，我们对自编码器平方损失的梯度下降能否解决字典学习问题进行了严格分析。我们考虑的“自编码器”架构是一个 $\mathbb{R}^n \rightarrow \mathbb{R}^n$ 映射，包含一个大小为 $h$ 的单层 ReLU 激活层。在关于 $x^*$ 非常宽松的分布假设下，我们证明了对于 $A^*$ 小邻域内的所有点，标准平方损失函数的期望梯度范数在渐近意义上（关于稀疏编码维度）是可以忽略的。合成数据的实验证据支持了这一点。我们还进行了实验以表明 $A^*$ 是一个局部极小值。在此过程中，我们证明可以设置一层 ReLU 门以自动恢复稀疏编码的支撑集。该性质与损失函数无关。我们认为这可能具有独立的意义。