深度神经网络紧凑架构搜索研究现状
神经与进化计算
2019-10-16 v1 计算机视觉与模式识别
机器学习
摘要
紧凑深度神经网络的设计是使深度神经网络在现实世界中广泛采用的关键任务，尤其对于边缘与移动场景。由于手动设计紧凑深度神经网络耗时且具有挑战性，近期出现了大量关于自动搜索紧凑网络架构算法的研究兴趣。一类特别有趣的紧凑架构搜索算法是由基线网络架构引导的那些。此类算法已被证明比无引导方法在计算上显著更高效。在本研究中，我们通过理论与实证分析四种不同的最先进紧凑架构搜索算法：i) 群套索正则化，ii) 变分dropout，iii) MorphNet，以及 iv) Generative Synthesis，来探讨深度神经网络紧凑架构搜索的现状。我们基于若干不同因素（如效率、有效性与可扩展性）详细考察这些方法。此外，进行了实证评估以在这三种知名基准数据集上比较这些紧凑架构搜索算法的功效。虽绝非详尽探索，我们希望本研究有助于洞悉这一相对较新研究领域的有趣现状，即在架构设计改进方面已实现多样性与切实增益。此外，希望本研究能推动朝向更深理论与实证理解的对话，即研究界在深度神经网络紧凑架构搜索版图中所处位置，以及将此类方法用于实际部署时的实际挑战与考量。
引用
@article{arxiv.1910.06466,
title = {State of Compact Architecture Search For Deep Neural Networks},
author = {Mohammad Javad Shafiee and Andrew Hryniowski and Francis Li and Zhong Qiu Lin and Alexander Wong},
journal= {arXiv preprint arXiv:1910.06466},
year = {2019}
}
备注
6 pages