代理辅助粒子群优化用于演化可迁移变长模块以进行图像分类
计算机视觉与模式识别
2020-07-06 v1 机器学习
神经与进化计算
摘要
深度卷积神经网络在图像分类任务上展现出有前景的性能，但由于卷积神经网络的深度快速增长以及拓扑结构日益复杂，其手动设计过程变得越来越复杂。因此，神经架构搜索应运而生，以自动设计优于手工设计的卷积神经网络。然而，计算成本巨大，例如两项杰出的神经架构搜索工作 NAS 和 NASNet 分别需要 22,400 GPU-天和 2,000 GPU-天，这促成了本工作。本文提出一种新的高效且有效的代理辅助粒子群优化算法来自动演化卷积神经网络。这是通过提出一种新颖的代理模型、一种创建代理数据集的新方法以及一种对卷积神经网络变长模块进行编码的新编码策略来实现的，所有这些都被集成到粒子群优化算法中形成所提方法。所提方法在 CIFAR-10 数据集上达到 3.49% 的竞争性错误率，在 CIFAR-100 数据集上为 18.49%，在 SVHN 数据集上为 1.82%，展现了其有效性。由于代理模型和代理数据集的加速作用，所提方法在 3 GPU-天内从 CIFAR-10 高效学习到卷积神经网络模块，避免了粒子所表示的 80.1% 的卷积神经网络模块的训练。无需进一步搜索，从 CIFAR-10 演化出的模块可成功迁移到 CIFAR-100 和 SVHN，这展现了所提方法学习到的模块的可迁移性。
引用
@article{arxiv.2007.01556,
title = {Surrogate-assisted Particle Swarm Optimisation for Evolving Variable-length Transferable Blocks for Image Classification},
author = {Bin Wang and Bing Xue and Mengjie Zhang},
journal= {arXiv preprint arXiv:2007.01556},
year = {2020}
}