混沌边缘神经系统中的最优输入表征
无序系统与神经网络
2021-07-14 v1 机器学习
神经与进化计算
神经元与认知
摘要
阐明生物系统如何在噪声环境中表征、处理和存储信息是一个关键且具挑战性的目标。一个引人注目但具争议的假说认为，在相变附近的动力学区，即临界性或“混沌边缘”上运行，可为信息处理生命系统提供重要的操作优势，例如创建鲁棒性与灵活性之间的最优权衡。在此，我们详述近期的一个理论结果，该结果确立：以鲁棒方式表征复杂输入的神经网络的协方差矩阵谱需按秩的幂律衰减，且指数接近于 1，这一结果已在小鼠视觉皮层神经元中得到实验验证。为理解和模仿这些结果，我们构建了一个人工神经网络并训练其分类图像。值得注意的是，我们发现此类任务的最佳性能在网络运行于临界点附近时获得，此时协方差矩阵的特征谱遵循与实际神经元完全相同的统计。因此，我们得出结论：在临界性附近运行除了通常所称的优点外，还具有允许灵活、鲁棒且高效的输入表征的优势。
引用
@article{arxiv.2107.05709,
title = {Optimal input representation in neural systems at the edge of chaos},
author = {Guillermo B. Morales and Miguel A. Muñoz},
journal= {arXiv preprint arXiv:2107.05709},
year = {2021}
}