监督学习中的稀疏活动与稀疏连接

稀疏性在众多应用中是学习过程的有效正则化手段，尤其在神经网络中。本文提出一个面向分类任务的模型，利用稀疏活动和稀疏连接来增强分类能力。实现这一目标的工具是一个稀疏性强制投影算子，该算子可为任意给定向量找到具有预定义稀疏度的最近向量。在本文的理论部分，我们为此类投影建立了完备的理论。最后，我们证明该投影几乎处处可微，因此可作为一个平滑的神经元传递函数来实现。整个模型因而可以使用基于梯度的方法进行端到端调优。在 MNIST 手写数字数据库上的实验表明，稀疏活动或稀疏连接均可提升分类性能。将两者结合，其性能相比经典的非稀疏方法有显著提升。