EEEA-Net：一种早退出进化神经架构搜索
摘要
本研究的目标是搜索适用于计算资源有限的端侧处理器的卷积神经网络（CNN）架构，并以显著降低的神经网络架构搜索（NAS）成本实现。我们提出了一种用于进化算法（EA）的早退出种群初始化（EE-PI）新算法来实现这两个目标。EE-PI 通过过滤参数量少于最大阈值的模型来减少搜索过程中的参数总数，并将寻找新模型以替换那些参数量超过阈值的模型。从而，在保持相同性能或精度的同时，减少参数量、模型存储的内存占用和处理时间。搜索时间被缩减至 0.52 GPU 天。与 NSGA-Net 的 4 GPU 天、AmoebaNet 模型的 3150 GPU 天以及 NASNet 模型的 2000 GPU 天 NAS 相比，这是一项巨大且显著的成就。此外，早退出进化算法网络（EEEA-Nets）作为一类网络算法，能针对给定数据集产生具有最小误差和计算成本的网络架构。在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上使用 EEEA-Net，我们的实验表明 EEEA-Net 在 SOTA NAS 模型中实现了最低的错误率，CIFAR-10 为 2.46%，CIFAR-100 为 15.02%，ImageNet 数据集为 23.8%。进一步，我们将该图像识别架构应用于其他任务，如目标检测、语义分割和关键点检测任务，并且在我们的实验中，EEEA-Net-C2 在所有这些不同任务上均优于 MobileNet-V3。（算法代码见 https://github.com/chakkritte/EEEA-Net）。
引用
@article{arxiv.2108.06156,
title = {EEEA-Net: An Early Exit Evolutionary Neural Architecture Search},
author = {Chakkrit Termritthikun and Yeshi Jamtsho and Jirarat Ieamsaard and Paisarn Muneesawang and Ivan Lee},
journal= {arXiv preprint arXiv:2108.06156},
year = {2021}
}
备注
Published at Engineering Applications of Artificial Intelligence; Code and pretrained models available at https://github.com/chakkritte/EEEA-Net