$\ell_{1,\infty}$球上的近线性时间投影及其在稀疏自编码器中的应用

当今寻求稀疏性对于加速大规模神经网络训练至关重要。到$\ell_{1,2}$和$\ell_{1,\infty}$的投影是稀疏化并降低神经网络总体成本的最高效技术之一。本文中，我们引入了一种用于$\ell_{1,\infty}$范数球的新投影算法。对于$\mathbb{R}^{n\times m}$中的矩阵，该算法的最坏情况时间复杂度为$\mathcal{O}\big(nm+J\log(nm)\big)$。$J$是一项在稀疏性高时趋于0、稀疏性低时趋于$nm$的项。其实现简单，且保证在有限时间内收敛到精确解。此外，我们提出在训练自编码器时融入$\ell_{1,\infty}$球投影，以强制特征选择与权重稀疏性。由于我们在生物学中的应用仅有一小部分（$<2\%$）数据相关，稀疏化出现在编码器中以主要进行特征选择。我们表明在生物学案例和稀疏性的一般案例中，我们的方法都是最快的。