具有指数并行加速的多级投影；应用于稀疏自编码器神经网络

$\ell_{1,\infty}$范数是一种高效的结构化投影，但遗憾的是，对于$\mathbb{R}^{n\times m}$中的矩阵，最佳算法的复杂度为$\mathcal{O}\big(n m \log(n m)\big)$。在本文中，我们提出了一种新的双层投影方法，我们证明了对于$\mathbb{R}^{n\times m}$中的矩阵，$\ell_{1,\infty}$范数的时间复杂度仅为$\mathcal{O}\big(n m \big)$，并且在完全并行的情况下为$\mathcal{O}\big(n + m \big)$。我们将我们的方法推广到张量，并提出了一种新的多级投影，其具有诱导分解，产生从线性并行加速到指数加速因子的加速，导致时间复杂度以维度的总和为下界，而不是维度的乘积。我们为我们的双层和三层（矩阵和张量）框架提供了各种范数的大量实现基础，并提供了并行实现。实验表明，我们的投影比当前最快的欧几里得算法快2倍，同时在神经网络应用中提供相同的精度和更好的稀疏性。