基于多样结构与自适应推荐的多目标神经架构搜索
计算机视觉与模式识别
2020-08-14 v2 机器学习
摘要
卷积神经网络（CNN）的神经架构搜索（NAS）的搜索空间巨大。为降低搜索成本，大多数 NAS 算法使用固定的外层网络级别结构，仅搜索可重复单元结构。此类固定架构在使用了足够多的单元和通道时表现良好。然而，当架构变得更轻量时，性能显著下降。为获得更好的轻量架构，需要更灵活多样的神经架构，并应针对更大搜索空间设计更高效的方法。受此启发，我们提出 MoARR 算法，其利用现有研究成果与历史信息快速找到既轻量又准确的架构。我们使用已发现的高性能单元来构建网络架构。该方法在增加网络架构多样性的同时也减小了单元结构设计的搜索空间。此外，我们设计了一种新颖的多目标方法以有效分析历史评估信息，从而高效搜索具有高准确率与少参数量的 Pareto 最优架构。实验结果表明，我们的 MoARR 在 CIFAR-10 上以 6 GPU 小时取得了强大且轻量的模型（错误率 1.9%，参数量 2.3M），优于现有最优方法。所探索的架构可迁移至 ImageNet，并以 4.9M 参数量取得 76.0% 的 top-1 准确率。
引用
@article{arxiv.2007.02749,
title = {Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation},
author = {Chunnan Wang and Hongzhi Wang and Guosheng Feng and Fei Geng},
journal= {arXiv preprint arXiv:2007.02749},
year = {2020}
}
备注
11pages