基于递推公式的网络架构分析与设计
机器学习
2021-08-20 v1 人工智能
摘要
捷径/跳跃连接的有效性已被广泛验证，这激发了大量关于神经网络架构设计的探索。本工作试图找到一种设计新网络架构的有效方法。研究发现，网络架构之间的主要差异可以反映在其递推公式中。基于此，提出了一种从数学公式角度设计新颖网络架构的方法论。随后，提供了一个基于 ResNet 生成改进架构的案例研究。此外，将新架构与 ResNet 进行比较，并在基于 ResNet 的网络上进行测试。在 CIFAR 和 ImageNet 上进行了大量实验，证实了该架构带来的显著性能提升。
引用
@article{arxiv.2108.08689,
title = {Analyze and Design Network Architectures by Recursion Formulas},
author = {Yilin Liao and Hao Wang and Zhaoran Liu and Haozhe Li and Xinggao Liu},
journal= {arXiv preprint arXiv:2108.08689},
year = {2021}
}
备注
It is hoped that the new network architecture is derived according to a specific purpose