迈向改进可微神经架构搜索的一致性、效率与灵活性
计算机视觉与模式识别
2021-01-28 v1
摘要
大多数可微神经架构搜索方法构建一个超网用于搜索，并导出其一个子图作为目标网用于评估。搜索与评估中的架构存在显著差距。因此，现有方法受制于不一致、低效且不灵活的搜索过程。本文提出由引擎单元（Engine-cell）与过渡单元（Transit-cell）构成的EnTranNAS。引擎单元可微以进行架构搜索，而过渡单元仅通过架构导出过渡一个子图。从而，搜索与评估中架构的差距被显著缩小。我们的方法还节省了诸多内存与计算开销，加速了搜索过程。我们引入特征共享策略以实现更均衡的优化与更高效的搜索。此外，我们发展了架构导出方法以取代基于手工规则的传统的导出方法。我们的方法支持可微稀疏化，并使导出的架构与引擎单元等价，进一步提升了搜索与评估间的一致性。并且，它支持对拓扑的搜索，其中节点可与先前节点以任意数量的连接相连，从而使搜索到的架构更为灵活。在CIFAR-10上的实验中，我们在标准空间上的搜索仅需0.06 GPU-day。我们进一步在扩展空间上以0.07 GPU-day的搜索取得2.22%的错误率。我们还可以在ImageNet上直接进行拓扑可学习的搜索，并在2.1 GPU-day内取得23.8%的top-1错误率。
引用
@article{arxiv.2101.11342,
title = {Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search},
author = {Yibo Yang and Shan You and Hongyang Li and Fei Wang and Chen Qian and Zhouchen Lin},
journal= {arXiv preprint arXiv:2101.11342},
year = {2021}
}