深度卷积神经网络无限极限中的相关权重
机器学习
2021-06-15 v2 机器学习
摘要
深度神经网络的无限宽度极限通常具有易处理的形式。它们既被用于分析有限网络的行为，本身也是有用的方法。在研究无限宽卷积神经网络（CNNs）时，观察到由空间权重共享产生的相关性在无限极限中消失。这是不可取的，因为空间相关性正是 CNNs 的主要动机。我们表明该性质的丧失并非无限极限所致，而是选择了独立权重先验的结果。对权重引入相关性可保持激活中的相关性。改变相关程度可在独立权重极限与均值池化之间进行插值。对无限宽网络的实证评估表明，最优性能出现在两个极端之间，说明相关性可能是有用的。
引用
@article{arxiv.2101.04097,
title = {Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks},
author = {Adrià Garriga-Alonso and Mark van der Wilk},
journal= {arXiv preprint arXiv:2101.04097},
year = {2021}
}
备注
Accepted for the 37th Conference on Uncertainty in Artificial Intelligence (UAI 2021)