无限通道深度稳定卷积神经网络
机器学习
2024-11-18 v2 机器学习
摘要
无限宽神经网络（NN）与高斯过程（GP）类之间的关联自 Neal (1996) 的开创性工作以来已广为人知。尽管近年来提出了许多理论改进，但 NN 与 GP 之间的关联依赖于对 NN 参数的两个关键分布假设：A1) 有限方差；A2) 独立同分布（iid）。本文考虑在深度前馈卷积 NN 的一般背景下去除 A1 的问题。具体地，我们假设 iid 参数服从稳定分布，并证明在适当缩放下，深度前馈卷积 NN 的无限通道极限是一个具有多元稳定有限维分布的随机过程。然后通过对其各层参数的显式反向递归刻画该极限分布。我们的贡献将 Favaro 等人 (2020) 的结果推广到卷积架构，并为拓展依赖于 GP 极限类的令人振奋的近期研究方向铺平了道路。
引用
@article{arxiv.2102.03739,
title = {Infinite-channel deep stable convolutional neural networks},
author = {Daniele Bracale and Stefano Favaro and Sandra Fortini and Stefano Peluchetti},
journal= {arXiv preprint arXiv:2102.03739},
year = {2024}
}
备注
20 pages, 35th Conference on Neural Information Processing Systems (NeurIPS 2021)