基于强化变异的进化神经架构搜索
神经与进化计算
2019-04-11 v3 计算机视觉与模式识别
机器学习
摘要
神经架构搜索(NAS)因计算消耗巨大，在网络设计中是一项重要且具有挑战性的任务。为解决此问题，我们提出了基于强化变异的进化神经架构搜索(RE-NAS)，这是一种用于NAS的带强化变异的进化方法。我们的方法将强化变异集成到进化算法中以进行神经架构探索，其中引入一个变异控制器来学习微小修改的效果并作出变异动作。强化变异控制器引导模型种群高效进化。此外，由于子模型在进化过程中可从父模型继承参数，我们的方法仅需非常有限的计算资源。在实验中，我们在CIFAR-10上执行所提出的搜索方法，并获得了一个强大的网络架构RENASNet。该架构在CIFAR-10上取得了具有竞争力的结果。所探索的网络架构可迁移至ImageNet，并在移动端ImageNet上以5.36M参数取得75.7%的top-1准确率，达到新的state-of-the-art精度。我们进一步在PASCAL VOC上使用DeepLabv3测试其在语义分割上的性能。RENASNet优于MobileNet-v1、MobileNet-v2和NASNet。它在未在COCO上预训练的情况下取得了75.83%的mIOU。
引用
@article{arxiv.1808.00193,
title = {Reinforced Evolutionary Neural Architecture Search},
author = {Yukang Chen and Gaofeng Meng and Qian Zhang and Shiming Xiang and Chang Huang and Lisen Mu and Xinggang Wang},
journal= {arXiv preprint arXiv:1808.00193},
year = {2019}
}