通过空间梯度缩放的重参数化
机器学习
2023-03-08 v2 人工智能
计算机视觉与模式识别
摘要
重参数化旨在通过将卷积层转换为训练中等价的多分支结构来提升深度神经网络的泛化能力。然而，对于重参数化如何改变并有益于神经网络的学习过程，目前仍缺乏深入理解。本文提出一种新颖的空间梯度缩放方法，以重新分配卷积网络中各权重的学习焦点。我们证明，空间梯度缩放实现了与分支重参数化相同的学习动态，且无需对网络引入结构改变。我们进一步提出一种分析方法，基于由互信息度量的输入特征图的空间特性，为每一卷积层动态学习缩放因子。在 CIFAR-10、CIFAR-100 和 ImageNet 上的实验表明，无需搜索重参数化结构，我们所提出的缩放方法以更低的计算成本优于最先进的重参数化策略。
引用
@article{arxiv.2303.02733,
title = {Reparameterization through Spatial Gradient Scaling},
author = {Alexander Detkov and Mohammad Salameh and Muhammad Fetrat Qharabagh and Jialin Zhang and Wei Lui and Shangling Jui and Di Niu},
journal= {arXiv preprint arXiv:2303.02733},
year = {2023}
}
备注
Published at ICLR 2023. Code available at https://github.com/Ascend-Research/Reparameterization