IC-Network：一种高效的卷积神经网络结构
机器学习
2020-06-05 v4 机器学习
摘要
神经网络已被广泛应用，大多数网络通过堆叠特定类型的基本单元取得优异性能。相较于增加网络深度与宽度，设计更有效的基元已成为重要研究课题。受物理学中弹性碰撞模型启发，我们提出一种可集成到现有网络结构中以加速训练过程并提升泛化能力的通用结构，称之为“层间碰撞”（IC）结构。我们将 IC 结构与卷积操作结合，构建了两种组成卷积神经网络（CNNs）的基本计算单元（IC 层和 IC 块）。与传统卷积相比，所提两种计算单元均具有更强的非线性表示能力，并能过滤对给定任务有用的特征。使用这些计算单元构建网络，我们为现有 SOTA CNNs 带来了显著的性能提升。在 ImageNet 实验中，我们将 IC 块集成到 ResNet-50 中，将 top-1 误差从 22.85% 降至 21.49%，也优于 ResNet-100 的 top-1 误差（21.75%）。
引用
@article{arxiv.1911.08252,
title = {IC-Network: Efficient Structure for Convolutional Neural Networks},
author = {Junyi An and Fengshan Liu and Jian Zhao and Furao Shen},
journal= {arXiv preprint arXiv:1911.08252},
year = {2020}
}
备注
9 pages, 4 figures