基于知识蒸馏的块级监督神经架构搜索
计算机视觉与模式识别
2020-03-09 v2 机器学习
神经与进化计算
摘要
神经架构搜索（NAS）旨在由机器自动设计网络架构，被寄望并预期为机器学习带来新的革命。尽管有这些高期望，现有 NAS 方案的有效性和效率仍不明确，一些近期工作甚至认为许多现有 NAS 方案并不优于随机架构选择。NAS 方案的低效可能归因于不准确的架构评估。具体而言，为加速 NAS，近期工作提出在大型搜索空间中利用共享网络参数同时欠训练不同的候选架构；然而，这导致了不正确的架构评分并进一步加剧了 NAS 的无效性。在本工作中，我们提出将 NAS 的大型搜索空间模块化为块，以确保潜在候选架构被充分训练；这减少了由共享参数引起的表示偏移并带来候选架构的正确评分。得益于块级搜索，我们还能在一个块内评估所有候选架构。此外，我们发现网络模型的知识不仅在于网络参数，也在于网络架构。因此，我们提出从教师模型中提取神经架构（DNA）知识作为监督来指导我们的块级架构搜索，这显著提升了 NAS 的有效性。值得注意的是，我们搜索到的架构能力已超越教师模型，证明了我们方法的实用性与可扩展性。最后，我们的方法在移动端设置下于 ImageNet 上取得了最先进的 78.4% top-1 准确率，相较 EfficientNet-B0 约有 2.1% 的提升。我们所有搜索到的模型及评估代码均在线可用。
引用
@article{arxiv.1911.13053,
title = {Blockwisely Supervised Neural Architecture Search with Knowledge Distillation},
author = {Changlin Li and Jiefeng Peng and Liuchun Yuan and Guangrun Wang and Xiaodan Liang and Liang Lin and Xiaojun Chang},
journal= {arXiv preprint arXiv:1911.13053},
year = {2020}
}
备注
To be appear in CVPR 2020. We achieve a state-of-the-art 78.4% top-1 accuracy on ImageNet in a mobile setting, which is about a 2.1% gain over EfficientNet-B0