混沌边缘的最优机器智能
机器学习
2020-10-30 v2 神经与进化计算
适应与自组织系统
混沌动力学
机器学习
摘要
长期以来人们认为生物大脑运作于两种不同相（可能是有序与混沌）之间的某个临界点。尽管来自大脑的大量间接经验证据以及对简单神经网络的解析指示支持这一假说，但其基于一般非线性系统的基础仍不清楚。在此我们发展了一个一般理论，揭示精确的混沌边缘是混沌相与由 Neimark-Sacker 分岔产生的（伪）周期相之间的边界。该边缘由非线性算子的渐近雅可比范数解析确定，并受系统维度影响。混沌边缘的最优性关联于该点处输入输出间最高的信息传输，类似于 logistic 映射的情况。作为经验验证，我们在计算机视觉的多种深度学习模型上的实验展示了模型在混沌边缘附近的最优性，并且我们观察到最先进的训练算法在模型变得更准确时会将其推向此类边缘。我们进一步通过渐近稳定性建立了对深度学习模型泛化的理论理解。
引用
@article{arxiv.1909.05176,
title = {Optimal Machine Intelligence at the Edge of Chaos},
author = {Ling Feng and Lin Zhang and Choy Heng Lai},
journal= {arXiv preprint arXiv:1909.05176},
year = {2020}
}