EIGEN：从零开始神经网结构搜索的生态启发式遗传方法
神经与进化计算
2019-04-16 v3
摘要
设计神经网络结构被认为是深度学习中最具挑战性的任务之一，尤其当对任务领域先验知识甚少时。本文中我们提出一种生态启发式遗传（EIGEN）方法，其利用演替、灭绝、拟态与基因复制的概念，从初始化不良的简单网络出发并从零搜索神经网络结构，且在进化过程中施加极少约束，因我们假设对任务领域无先验知识。具体而言，我们首先使用初级演替将初始化不良的神经网络结构种群快速演化为更具多样性的种群，随后基于初级演替所得网络进行细粒度搜索的次级演替阶段。两阶段均应用灭绝以降低计算成本。拟态在整个进化过程中被采用，以帮助劣势网络模仿优势网络的行为，基因复制被用于复制新颖结构的学习块，二者均有助于寻找更优网络结构。实验结果表明，相较现有遗传方法，我们所提方法能以大幅降低的计算成本取得相似或更佳表现。例如，我们的方法在 CIFAR-100 数据集上发现的网络在 120 GPU 小时内达到 78.1% 测试准确率，而文献 [35] 在超过 65,536 GPU 小时内仅达 77.0%。
引用
@article{arxiv.1806.01940,
title = {EIGEN: Ecologically-Inspired GENetic Approach for Neural Network Structure Searching from Scratch},
author = {Jian Ren and Zhe Li and Jianchao Yang and Ning Xu and Tianbao Yang and David J. Foran},
journal= {arXiv preprint arXiv:1806.01940},
year = {2019}
}
备注
CVPR 2019