中文

神经元集群学习分类良好分离的分布

神经与进化计算 2022-07-05 v3 人工智能 机器学习

摘要

神经元集群是指一大群神经元,其同步放电被假设用以表征记忆、概念、词语及其他认知类别。人们认为神经元集群在高层认知现象与低层神经活动之间提供了桥梁。近来,一种称为集群演算(Assembly Calculus, AC)的计算系统,具备对集群进行一系列生物学上合理的操作,已被证明能够模拟任意空间有界计算,也能模拟语言、推理与规划等复杂认知现象。然而,集群介导学习的机制一直未知。本文提出这样一种机制,并严格证明:对于定义在带标签集群分布上的简单分类问题,可针对每个类别可靠地形成一个代表该类别的新集群以响应来自该类的少量刺激;此后,面对来自同一类别的新刺激,该集群能被可靠地召回。此外,只要各类别合理分离——例如当它们是相似集群的簇时——此类类别集群便可被区分。为证明这些结果,我们借助带动态边权重的随机图理论来估计激活顶点序列,从而对该领域过去五年中的先前计算与定理给出了强力推广。这些定理由实验支撑:实验展示了在由此类分布抽取的合成数据上、以及在 MNIST(其天然适合通过每个数字一个集群来进行分类)上,成功形成代表概念类别的集群。作为一种学习算法,该机制完全在线、能从极少样本泛化,且仅需轻度监督——这些都是脑模型中进行学习的关键属性。

关键词

引用

@article{arxiv.2110.03171,
  title  = {Assemblies of neurons learn to classify well-separated distributions},
  author = {Max Dabagia and Christos H. Papadimitriou and Santosh S. Vempala},
  journal= {arXiv preprint arXiv:2110.03171},
  year   = {2022}
}

备注

35 pages, 7 figures, accepted to COLT 2022