神经继承关系引导的一次性层分配搜索
计算机视觉与模式识别
2020-03-02 v1
摘要
层分配在神经架构搜索中很少被作为独立的研究课题。本文首次通过构建CIFAR-100上层分配的架构数据集，系统研究了不同层分配对网络性能的影响。通过分析该数据集，我们发现了具有不同层分配的网络间的一种神经继承关系，即更深网络的最优层分配总是继承自浅层网络。受此神经继承关系启发，我们提出了一种通过继承采样的高效一次性层分配搜索方法。具体而言，在浅层网络中搜索到的最优层分配可作为强采样先验，用于在超网中训练和搜索更深的网络，从而极大缩减网络搜索空间。在CIFAR-100上的综合实验表明了我们所提方法的效率。我们的搜索结果与直接从架构数据集中选出的最优结果高度一致。为进一步确认所提方法的泛化性，我们还在Tiny-ImageNet和ImageNet上进行了实验。在计算预算不变下，我们搜索到的结果显著优于手工设计的网络。本文发现的神经继承关系可为通用神经架构搜索提供见解。
引用
@article{arxiv.2002.12580,
title = {Neural Inheritance Relation Guided One-Shot Layer Assignment Search},
author = {Rang Meng and Weijie Chen and Di Xie and Yuan Zhang and Shiliang Pu},
journal= {arXiv preprint arXiv:2002.12580},
year = {2020}
}
备注
AAAI2020