比较有限批量大小分割神经网络的归一化方法
计算机视觉与模式识别
2020-11-24 v1
摘要
批归一化（Batch Normalization）的广泛使用使得训练更深的神经网络更加稳定且快速。然而，批归一化在训练时使用大批量大小效果最佳，而由于最先进的分割卷积神经网络架构对内存要求很高，在当前硬件上往往无法实现大批量大小。我们在一个从 3D CT 扫描中进行二值脊柱分割的问题上评估了为解决此问题而提出的替代归一化方法。我们的结果显示了实例归一化（Instance Normalization）在有限批量大小神经网络训练环境中的有效性。在所有比较的方法中，实例归一化取得了最高结果，Dice 系数 = 0.96，这与我们之前由更深网络及更长训练时间所得结果相当。我们还表明，与无任何归一化方法的网络相比，本实验所用的实例归一化实现在计算时间上高效。
引用
@article{arxiv.2011.11559,
title = {Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks},
author = {Martin Kolarik and Radim Burget and Kamil Riha},
journal= {arXiv preprint arXiv:2011.11559},
year = {2020}
}