自适应信号方差：通过现代架构进行 CNN 初始化
机器学习
2020-09-01 v2 神经与进化计算
机器学习
摘要
深度卷积神经网络（CNN）在图像处理任务上的性能已获得不容置疑的信赖。CNN 架构包含多种不同类型的层，包括卷积层和最大池化层。CNN 实践者广泛认识到，学习的稳定性取决于如何初始化各层中的模型参数。如今，无人怀疑事实上的标准初始化方案是由 He 等人提出的所谓 Kaiming 初始化。Kaiming 方案源自比当前所用 CNN 结构（自 Kaiming 方案出现以来已演进）简单得多的模型。Kaiming 模型仅由卷积层和全连接层构成，忽略了最大池化层和全局平均池化层。本研究中，我们并非从简化的 Kaiming 模型，而是精确地从现代 CNN 架构重新推导初始化方案，并实证考察了这一新初始化方法相较于当今广泛使用的既定标准方法的性能表现。
引用
@article{arxiv.2008.06885,
title = {Adaptive Signal Variances: CNN Initialization Through Modern Architectures},
author = {Takahiko Henmi and Esmeraldo Ronnie Rey Zara and Yoshihiro Hirohashi and Tsuyoshi Kato},
journal= {arXiv preprint arXiv:2008.06885},
year = {2020}
}