一般感知流形的分类与几何
无序系统与神经网络
2018-07-11 v3 统计力学
神经与进化计算
神经元与认知
机器学习
摘要
当神经群体对与同一感知对象的不同物理特征(如朝向、姿态、尺度、位置和强度)相关的一组感觉信号作出响应时,便会产生感知流形。物体识别与判别要求以对流形内变异性不敏感的方式对流形进行分类。神经系统如何实现不变的物体分类与识别,是脑理论及机器学习中的一个基本问题。在此,我们研究读出网络从其感知流形表示中对物体进行分类的能力。我们针对任意几何形状流形的线性分类发展了统计力学理论,揭示了其与圆锥分解数学的显著关联。我们引入了流形半径与流形维度的新颖几何度量,能够解释各种几何形状流形的分类容量。该一般理论在多个代表性流形上得到了验证,包括严格凸流形典型的 L2 椭球、代表由有限样本点构成多面体的 L1 球,以及源于对连续角度变量(如物体朝向)调谐响应的神经元的朝向流形。我们阐明了标签稀疏性对流形分类容量的影响,揭示了标签稀疏性与流形半径之间的标度关系。理论预测通过使用近期开发的算法计算流形二分法的最大间隔解的数值模拟得到了证实。我们的理论及其扩展为将线性分类的统计力学应用于源自神经元对物体刺激响应的数据,以及为物体识别任务训练的人工深度网络,提供了一个强大而丰富的框架。
引用
@article{arxiv.1710.06487,
title = {Classification and Geometry of General Perceptual Manifolds},
author = {SueYeon Chung and Daniel D. Lee and Haim Sompolinsky},
journal= {arXiv preprint arXiv:1710.06487},
year = {2018}
}
备注
24 pages, 12 figures, Supplementary Materials