ModuleNet：知识继承的神经网络架构搜索
计算机视觉与模式识别
2020-04-15 v2
摘要
尽管神经架构搜索（NAS）能为深度模型带来提升，但它们总是忽视现有模型的宝贵知识。NAS 的计算与耗时特性也意味着我们不应从零开始搜索，而应尽力复用已有知识。本文中，我们探讨模型中何种知识能够且应当被用于新架构设计。随后，我们提出一种新的 NAS 算法，即 ModuleNet，其可充分继承现有卷积神经网络的知识。为充分利用现有模型，我们将现有模型分解为保持各自权重的不同的\textit{module}（模块），构成知识库。然后我们依据知识库采样并搜索新架构。不同于以往的搜索算法，且得益于继承的知识，我们的方法能够通过 NSGA-II 算法直接在宏空间搜索架构，而无需调整这些\textit{module}中的参数。实验表明，即便不调整卷积层权重，我们的策略也能高效评估新架构的性能。在继承知识的帮助下，我们的搜索结果在各种数据集（CIFAR10、CIFAR100）上总能取得优于原始架构的性能。
引用
@article{arxiv.2004.05020,
title = {ModuleNet: Knowledge-inherited Neural Architecture Search},
author = {Yaran Chen and Ruiyuan Gao and Fenggang Liu and Dongbin Zhao},
journal= {arXiv preprint arXiv:2004.05020},
year = {2020}
}