利用 UNet 与 PSPNet 探究 CNN 参数的可复用性原理
计算机视觉与模式识别
2020-09-21 v1 机器学习
图像与视频处理
摘要
如何降低对训练数据集规模的需求是深度学习领域的热点问题。一种直接的方法是复用一些预训练参数。先前的一些工作如深度迁移学习将针对第一个任务训练得到的模型参数作为第二个任务的起点，而半监督学习则是在有标签与无标签数据的组合上进行训练。然而，这些方法成功背后的根本原因尚不清楚。本文通过使用一个网络执行分割与自编码器任务，实验性地量化了深度卷积神经网络各层参数的可复用性。本文证明网络参数可被复用源于两点原因：第一，网络特征是通用的；第二，预训练参数与理想网络参数之间差异很小。通过参数替换与对比，我们证明了可复用性在 BN（批归一化，Batch Normalization）[7] 层与卷积层中存在差异，并得到一些观察结果：(1) 在 BN 层中，滑动均值与滑动方差比权重与偏置起着更重要的作用；(2) BN 层中的权重与偏置可被复用；(3) 网络对卷积层的权重非常敏感；(4) 卷积层中的偏置不敏感，可直接复用。
引用
@article{arxiv.2008.03414,
title = {Using UNet and PSPNet to explore the reusability principle of CNN parameters},
author = {Wei Wang},
journal= {arXiv preprint arXiv:2008.03414},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:2008.03411