移动端神经架构搜索中的多目标强化进化
神经与进化计算
2019-01-17 v3 机器学习
摘要
由于资源高度受限，为广泛的移动设备构建神经网络模型需要特定的网络设计。进化算法（EA）和强化学习方法（RL）都致力于解决神经架构搜索问题。然而，这些组合通常集中于单一目标，例如图像分类的错误率。它们也未能利用来自双方的优势。在本文中，我们提出一种称为 MoreMNAS（移动端神经架构搜索中的多目标强化进化）的面向多目标的新算法，借助 EA 和 RL 两者的优点。特别地，我们引入了多目标遗传算法 NSGA-II 的一个变体，其搜索空间由各种单元组成，以便交叉和变异可在单元级别执行。此外，强化控制与自然变异过程相混合以规范任意变异，维持探索与利用之间的精细平衡。因此，我们的方法不仅防止搜索到的模型在进化过程中退化，而且更好地利用了已学到的知识。我们在超分辨率（SR）领域进行的实验表明，以更少的 FLOPS 取得了与某些最先进（SOTA）方法相竞争的模型。
引用
@article{arxiv.1901.01074,
title = {Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search},
author = {Xiangxiang Chu and Bo Zhang and Ruijun Xu and Hailong Ma},
journal= {arXiv preprint arXiv:1901.01074},
year = {2019}
}
备注
Deep Learning, Neural Architecture Search, Multi-objective, Reinforcement Learning