神经网络中自适应降维的规范理论
神经元与认知
2016-01-27 v2 神经与进化计算
摘要
为了理解世界，我们的大脑必须分析感觉器官传输的高维数据集。由于此类分析始于降维，对早期感觉处理的建模需要具有生物学合理性的在线降维算法。最近，我们从多维标度（Multidimensional Scaling, MDS）目标函数推导出了这样一种称为相似性匹配（similarity matching）的算法。然而，在现有算法中，输出维度数量由输出神经元数量先验设定且无法更改。由于感觉输入中信息维度的数量是可变的，因此需要自适应降维。在此，我们推导了具有生物学合理性的降维算法，其将输出维度数量适应于输入协方差矩阵的特征谱。我们构建了三个目标函数，在离线设置下，它们由输入数据集投影到其主子空间（按输出协方差矩阵的特征值缩放）所优化。进而，输出特征值被计算为 i) 软阈值的、ii) 硬阈值的、iii) 均衡阈值的输入协方差矩阵的特征值。在在线设置下，我们推导了三种相应的自适应算法，并将它们映射到具有生物学合理性局部学习规则的网络中神经元活动的动力学。值得注意的是，在最后两个网络中，神经元分为两类，我们将其等同于生物回路中的主神经元和中间神经元。
引用
@article{arxiv.1511.09426,
title = {A Normative Theory of Adaptive Dimensionality Reduction in Neural Networks},
author = {Cengiz Pehlevan and Dmitri B. Chklovskii},
journal= {arXiv preprint arXiv:1511.09426},
year = {2016}
}
备注
Advances in Neural Information Processing Systems (NIPS), 2015