随机初始化CNN的Johnson-Lindenstrauss框架
机器学习
2022-03-08 v2 神经与进化计算
概率论
摘要
数据集在经过神经网络每个随机初始化层后，其几何表示如何变化？著名的Johnson-Lindenstrauss引理回答了线性全连接神经网络（FNN）的问题，指出几何结构基本保持不变。对于使用ReLU激活函数的FNN，两个输入之间的角度根据已知映射收缩。对于非线性卷积神经网络（CNN），问题变得更加复杂。为了回答这个问题，我们引入了一个几何框架。对于线性CNN，我们证明Johnson-Lindenstrauss引理仍然成立，即两个输入之间的角度保持不变。另一方面，对于使用ReLU激活函数的CNN，行为更加丰富：输出之间的角度收缩，收缩程度取决于输入的性质。特别地，在一层之后，自然图像的几何结构基本保持不变，而对于高斯相关输入，CNN表现出与使用ReLU激活函数的FNN相同的收缩行为。
引用
@article{arxiv.2111.02155,
title = {A Johnson--Lindenstrauss Framework for Randomly Initialized CNNs},
author = {Ido Nachum and Jan Hązła and Michael Gastpar and Anatoly Khina},
journal= {arXiv preprint arXiv:2111.02155},
year = {2022}
}