学习具有重叠块的单卷积层

我们给出了首个可证明高效的算法，用于学习关于一类通用（可能重叠的）块的单隐藏层卷积网络。此外，我们的算法仅要求底层分布满足温和条件。我们证明我们的框架涵盖了计算机视觉中常用的方案，包括一维和二维“分块与步长”卷积。我们的算法——Convotron——受近期将保序回归应用于学习神经网络的工作启发。Convotron 使用一种简单的、迭代的更新规则，该规则本质上是随机的且对噪声具有容忍性（仅要求条件均值函数是一个单隐藏层卷积网络，而非可实现设定）。与梯度下降相反，Convotron 不需要特殊初始化或学习率调优即可收敛到全局最优。我们还指出，对于高斯分布且仅有 $一个$ 不相交块 $P$（其他块可以是任意的）学习单隐藏卷积层在如下意义上是 $容易$ 的：Convotron 可以仅 $在$ $P$ 的方向上更新来高效恢复隐藏权向量。