利用志愿计算进行卷积神经网络的大规模进化
神经与进化计算
2017-03-17 v1
摘要
本工作提出了一种名为增强卷积拓扑进化探索 (EXACT) 的新算法，该算法能够进化卷积神经网络 (CNNs) 的结构。EXACT 部分模仿了增强拓扑神经进化 (NEAT) 算法，但在显著方面有所不同，以使其能够扩展到大规模分布式计算环境并进化具有卷积滤波器的网络。除了多线程和 MPI 版本外，EXACT 还作为 BOINC 志愿计算项目的一部分进行了实现，从而实现了大规模进化。在两个月的时间里，Citizen Science Grid 上超过 4,500 台志愿计算机训练了超过 120,000 个 CNNs，进化出的网络在 MNIST 手写数字数据集上达到了 98.32% 的测试数据准确率。鉴于用于训练 CNNs 的反向传播策略相当基础（ReLU 单元、L2 正则化和 Nesterov 动量），且这些是在未对反向传播超参数进行优化的情况下进行的初始测试运行，这些结果显得更为出色。此外，EXACT 进化策略独立于训练 CNNs 的方法，因此可以通过弹性畸变、预训练和 dropout 等先进技术进一步提升。进化出的网络也颇具趣味，展现出“有机”结构，且与标准的人工设计架构存在显著差异。
引用
@article{arxiv.1703.05422,
title = {Large Scale Evolution of Convolutional Neural Networks Using Volunteer Computing},
author = {Travis Desell},
journal= {arXiv preprint arXiv:1703.05422},
year = {2017}
}
备注
17 pages, 13 figures. Submitted to the 2017 Genetic and Evolutionary Computation Conference (GECCO 2017)