基于搜索的深度卷积神经网络高效构建块设计
机器学习
2018-01-29 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
深度学习已在许多机器学习任务上展现出有前景的结果，但 DL 模型通常是具有大量神经元和层的复杂网络，且近来出现了称为构建块的复杂层结构。寻找最佳深度模型需要同时找到正确的架构以及适用于该架构的正确参数集。此外，这种复杂性（就层类型、神经元数量和层数而言）也带来了泛化问题，因为更大的网络更容易对数据过拟合。在本文中，我们提出一种用于寻找卷积神经网络（CNN）高效架构构建块的搜索框架。我们的方法能更快地找到性能接近最先进水平的模型。此外，我们的方法发现的模型也比类似技术发现的模型更小。我们通过将搜索空间设计为在包括残差块、inception 块、inception-residual 块、ResNeXt 块等在内的精简最先进 CNN 构建块集合上搜索，从而实现了这两重优势。我们将该技术应用于为多个图像数据集生成模型，并表明这些模型取得了可与最先进水平媲美（且在一个案例中甚至超越最先进水平）的性能。我们还表明学习到的模型可在数据集间迁移。
引用
@article{arxiv.1801.08577,
title = {Effective Building Block Design for Deep Convolutional Neural Networks using Search},
author = {Jayanta K Dutta and Jiayi Liu and Unmesh Kurup and Mohak Shah},
journal= {arXiv preprint arXiv:1801.08577},
year = {2018}
}