探索用于图像识别的随机连接神经网络
计算机视觉与模式识别
2019-04-09 v2 机器学习
摘要
用于图像识别的神经网络通过大量人工设计从简单的链状模型演变为具有多条连接路径的结构。ResNets 和 DenseNets 的成功很大程度上归功于其创新的连接方案。如今,神经架构搜索(NAS)研究正在探索连接与操作类型的联合优化,然而可能的连接空间受到限制,且尽管经过搜索仍由人工设计驱动。在本文中,我们通过随机连接神经网络的视角探索更多样的连接模式。为此,我们首先定义封装整个网络生成过程的随机网络生成器概念。封装为 NAS 与随机连接网络提供了统一视角。然后,我们使用三种经典随机图模型为网络生成随机连接图。结果令人惊讶:这些随机生成器的若干变体在 ImageNet 基准上产生了具有竞争精度的网络实例。这些结果表明,专注于设计更好的网络生成器的新努力可能通过探索约束更少、新颖设计空间更大的搜索空间带来新突破。
引用
@article{arxiv.1904.01569,
title = {Exploring Randomly Wired Neural Networks for Image Recognition},
author = {Saining Xie and Alexander Kirillov and Ross Girshick and Kaiming He},
journal= {arXiv preprint arXiv:1904.01569},
year = {2019}
}
备注
Technical report