GitGraph——通过频繁计算子图挖掘构建架构搜索空间
机器学习
2018-01-17 v1 人工智能
摘要
深度神经网络在多个应用领域的巨大成功，往往依赖于专家为每个任务精心设计的网络架构。为简化这一过程并使其更易用，一项新兴研究致力于自动化神经网络架构的设计，例如使用进化算法、强化学习或在受限的神经模块空间中进行简单搜索。考虑到搜索空间的典型规模（例如一个 层网络有 个候选）以及评估单个候选的成本，当前的架构搜索方法受到很大限制。它们要么依赖于为当前任务重新组合的静态预构建模块，要么定义一个静态的手工框架，在该框架内从最简单的可能操作生成新架构。在本文中，我们通过利用在线代码仓库中大量已发布神经网络所包含的集体智慧，放宽了这些限制。具体而言，我们 (a) 提取并发布 GitGraph，一个神经网络及其描述的语料库；(b) 我们创建特定问题的神经架构搜索空间，实现为基于 GitGraph 的文本搜索机制；(c) 我们提出一种方法，用于识别解决每个问题（例如图像处理、强化学习）的架构中独特的公共子图，这些子图随后可作为新创建的特定问题神经搜索空间中的模块。
引用
@article{arxiv.1801.05159,
title = {GitGraph - Architecture Search Space Creation through Frequent Computational Subgraph Mining},
author = {Kamil Bennani-Smires and Claudiu Musat and Andreea Hossmann and Michael Baeriswyl},
journal= {arXiv preprint arXiv:1801.05159},
year = {2018}
}