零权重突触在无监督特征学习中的作用

真实神经回路中的突触可以取离散值，包括零（静息或潜在）突触。零突触在未标记含噪数据的无监督特征学习中的计算作用仍不清楚，因此理解学习过程中突触活动的稀疏性如何形成及其与感受野形成的关系非常重要。在此，我们通过统计力学方法来表述这种稀疏特征学习。我们发现学习会降低零突触的比例，并且当该比例在临界数据大小附近迅速下降时，内在结构的感受野开始发育。进一步增加数据大小会精炼感受野，而极小比例的零突触保留下来作为轮廓检测器。这一现象不仅在手写数字数据集的学习中被发现，也在自然电影刺激实验中测量的视网膜神经活动的学习中被发现。