从拓扑视角学习神经网络的连接性
计算机视觉与模式识别
2020-08-20 v1
摘要
寻求有效的神经网络是深度学习中一个关键且实用的领域。除了设计深度、卷积类型、归一化与非线性之外，神经网络的拓扑连接性也同样重要。以往基于规则的模块化设计原则降低了构建有效架构的难度，但将可能的拓扑限制在有限空间中。本文中，我们试图优化神经网络中的连接性。我们提出一种拓扑视角，将网络表示为用于分析的完全图，其中节点执行特征的聚合与变换，边决定信息流。通过为边分配反映连接大小的可学习参数，学习过程可以可微方式进行。我们进一步对连接度的分布附加辅助稀疏约束，促使所学拓扑聚焦于关键连接。该学习过程与现有网络兼容，并适应更大的搜索空间与不同任务。实验的定量结果表明，所学连接性优于传统的基于规则的连接，如随机、残差与完全连接。此外，其在图像分类与目标检测中取得了显著改进，且不引入过多计算负担。
引用
@article{arxiv.2008.08261,
title = {Learning Connectivity of Neural Networks from a Topological Perspective},
author = {Kun Yuan and Quanquan Li and Jing Shao and Junjie Yan},
journal= {arXiv preprint arXiv:2008.08261},
year = {2020}
}
备注
17 pages, 5 figures, to be published in ECCV2020