动态图：学习神经网络中实例感知的连接性
计算机视觉与模式识别
2020-10-05 v1
摘要
使用深度神经网络的一种做法是对于所有输入实例应用相同的架构。然而，固定架构对于具有高度多样性的数据可能不足以具有代表性。为提升模型容量，现有方法通常采用更大的卷积核或更深的网络结构，这可能增加计算代价。本文通过提出动态图网络（DG-Net）来解决该问题。该网络学习实例感知的连接性，为不同实例创建不同的前向路径。具体而言，网络初始化为一个完全有向无环图，其中节点表示卷积块，边表示连接路径。我们通过可学习模块 \textit{router} 生成边权重，并选择权重大于阈值的边，以调整神经网络结构的连接性。DG-Net 不为每个样本使用相同的网络路径，而是在每个节点动态聚合特征，使网络具有更强的表示能力。为便于训练，我们将每个样本的网络连接性表示为邻接矩阵。该矩阵在前向传播中更新以聚合特征，缓存在内存中，并用于反向传播中的梯度计算。我们在若干静态架构（包括 MobileNetV2、ResNet、ResNeXt 和 RegNet）上验证了方法的有效性。在 ImageNet 分类与 COCO 目标检测上进行了大量实验，显示了我们方法的有效性与泛化能力。
引用
@article{arxiv.2010.01097,
title = {Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks},
author = {Kun Yuan and Quanquan Li and Dapeng Chen and Aojun Zhou and Junjie Yan},
journal= {arXiv preprint arXiv:2010.01097},
year = {2020}
}
备注
13 pages, 3 figures, 6 tables