深度流形Ⅰ：神经网络流形的解剖学
机器学习
2024-09-27 v1 人工智能
摘要
基于数值流形方法原理，我们构建了神经网络流形的数学框架：Deep Manifold，并发现神经网络：1）是结合前向和逆向的数值计算；2）具有近乎无限的自由度；3）随深度呈指数级学习容量；4）具有自我进化的边界条件；5）存在训练隐藏瓶颈。我们还定义了两个概念：神经网络学习空间和深流形空间，并引入了两个概念：神经网络内在路径和固定点。我们提出了三个根本性问题：1）什么是训练完成的定义；2）深层学习的收敛点在哪里（神经网络固定点）；3）给定负时间在逆问题中至关重要，标记时间戳在训练数据中的重要性为何？
关键词
引用
@article{arxiv.2409.17592,
title = {Deep Manifold Part 1: Anatomy of Neural Network Manifold},
author = {Max Y. Ma and Gen-Hua Shi},
journal= {arXiv preprint arXiv:2409.17592},
year = {2024}
}