具有二元突触的网络中的高效监督学习

最近的实验研究表明，由神经元活动诱导的突触变化是在少量稳定状态之间的离散跳跃。已知在具有离散突触的系统中进行学习是一个计算难题。在此，我们研究了一种源自信念传播（Belief Propagation）算法的、具有神经生物学合理性的在线学习算法。我们表明，该算法在一个具有二元突触且每个突触具有有限数量“隐藏”状态的模型神经元中表现优异，该神经元需学习一个随机分类任务。此类系统能够学习与理论极限相当数量的关联，且所需时间与系统规模呈亚线性关系。据我们所知，这是首个能够高效实现每个二元突触学习有限数量模式的在线算法。此外，我们表明，当隐藏状态数量有限时性能最优，而在稀疏编码情况下该数量变得非常小。该算法类似于标准的“感知机”（perceptron）学习算法，但增加了一条针对突触转换的规则：仅当当前呈现的模式“勉强正确”时才发生转换。在这种情况下，突触变化仅是元可塑性的（即隐藏状态发生变化而实际突触状态不变），从而使突触稳定在当前状态。最后，我们表明，具有两个可见状态和 K 个隐藏状态的系统比具有 K 个可见状态的系统对噪声具有更强的鲁棒性。我们认为该规则足够简单，易于在神经生物系统或硬件中实现。