受优化算法启发的深度神经网络结构设计
计算机视觉与模式识别
2018-10-04 v1 机器学习
摘要
深度神经网络近年来已成为主导的机器学习方法之一。若干新网络结构被提出，并比传统的全连接神经网络结构具有更好的性能。代表性结构包括ResNet中的跳跃连接结构和DenseNet中的密集连接结构。然而，神经网络结构设计仍缺乏统一的指导。本文提出假设：神经网络结构设计可受优化算法启发，且更快的优化算法可能导向更好的神经网络结构。具体而言，我们证明在不同层具有相同的线性变换的全连接神经网络中的传播等价于使用梯度下降算法最小化某函数。基于该观察，我们用重球算法和Nesterov加速梯度下降算法替代梯度下降算法，这两种算法更快，并启发我们设计新的更好的网络结构。ResNet和DenseNet可视为我们框架的两个特例。在CIFAR-10、CIFAR-100和ImageNet上的数值实验验证了我们受优化算法启发的结构相对于ResNet和DenseNet的优势。
引用
@article{arxiv.1810.01638,
title = {Optimization Algorithm Inspired Deep Neural Network Structure Design},
author = {Huan Li and Yibo Yang and Dongmin Chen and Zhouchen Lin},
journal= {arXiv preprint arXiv:1810.01638},
year = {2018}
}