Deep ReLU网络——注入容量上界
机器学习
2024-12-30 v1 无序系统与神经网络
信息论
机器学习
math.IT
摘要
我们研究深层ReLU前馈神经网络（NN）及其注入能力。主要焦点是精确确定所谓的注入容量。对于给定的隐藏层结构，注入容量定义为网络输出数目与输入数目之比的最小比值，从而确保从可实现的输出中唯一恢复输入。近期在精确研究单层ReLU注入属性方面取得的显著进展，被推广到深层网络级别。具体而言，我们开发了一个程序，将深层l层网络的注入能力连接到l扩展的ℓ₀球感知器，从而大大扩展了研究单层注入能力与所谓(1扩展)ℓ₀球感知器容量之间的同构关系[82]。随后，我们创建并利用基于随机对偶理论（RDT）的机器学习工具，以统计性地处理扩展ℓ₀球感知器的性质以及隐式的深层ReLU NN。我们还进行了大量数值评估，以实际应用整个RDT框架。通过这些实验，我们观察到所需层数扩展呈现快速下降趋势，即观察到快速的扩展饱和效应。仅需4层深度即可接近无需扩展的水平——这一结果与实际实验中所观察到的结果高度相似，而此前已有任何现有数学方法都完全无法触及。
引用
@article{arxiv.2412.19677,
title = {Deep ReLU networks -- injectivity capacity upper bounds},
author = {Mihailo Stojnic},
journal= {arXiv preprint arXiv:2412.19677},
year = {2024}
}