拓扑结构如何影响具有 DenseNet 型跳跃连接的深度网络的梯度传播与模型性能？
机器学习
2021-04-02 v3 计算机视觉与模式识别
机器学习
摘要
DenseNet 引入了拼接型跳跃连接，在若干计算机视觉任务中取得了 SOTA 精度。本文中，我们揭示拼接型跳跃连接的拓扑结构与梯度传播密切相关，而梯度传播又使得 DNN 的测试性能呈现出可预测的行为。为此，我们引入一种称为 NN-Mass 的新度量来量化信息通过 DNN 流动的有效性。此外，我们经验性地表明 NN-Mass 也适用于其他类型的跳跃连接，例如包含加法型跳跃连接（即残差或倒残差）的 ResNet、Wide-ResNet (WRN) 和 MobileNet。因此，对于类 DenseNet 的 CNN 以及 ResNet/WRN/MobileNet，我们有理论依据的 NN-Mass 能够识别具有相似精度的模型，尽管它们在规模/计算需求上差异显著。在合成与真实数据集（如 MNIST、CIFAR-10、CIFAR-100、ImageNet）上的详细实验为我们的见解提供了广泛证据。最后，我们 NN-Mass 的闭式方程使我们能够在初始化时直接设计大幅压缩的 DenseNet（针对 CIFAR-10）和 MobileNet（针对 ImageNet），而无需耗时的训练与/或搜索。
引用
@article{arxiv.1910.00780,
title = {How does topology influence gradient propagation and model performance of deep networks with DenseNet-type skip connections?},
author = {Kartikeya Bhardwaj and Guihong Li and Radu Marculescu},
journal= {arXiv preprint arXiv:1910.00780},
year = {2021}
}
备注
Accepted at CVPR 2021