任意目标函数存在于任意足够宽随机网络的邻域中：几何视角
机器学习
2020-03-19 v2 机器学习
摘要
已知任意目标函数在任意随机连接深度网络的足够小邻域内可实现，只要宽度（层中神经元数）足够大。关于这一惊人事实已有精妙的理论与讨论，但严格理论非常复杂。我们使用简单模型给出初等几何证明以阐明其结构。我们表明高维几何起着神奇作用：当将半径为 1 的高维球投影到低维子空间时，球上的均匀分布退化为协方差可忽略的高斯分布。
引用
@article{arxiv.2001.06931,
title = {Any Target Function Exists in a Neighborhood of Any Sufficiently Wide Random Network: A Geometrical Perspective},
author = {Shun-ichi Amari},
journal= {arXiv preprint arXiv:2001.06931},
year = {2020}
}