面向点卷积神经网络的方差感知权重初始化
计算机视觉与模式识别
2022-08-03 v2 机器学习
摘要
合适的权重初始化对成功训练神经网络一直至关重要。近来，批归一化（batch normalization）通过基于批次统计量简单地归一化每一层，弱化了权重初始化的作用。遗憾的是，当应用于小批次尺寸时，批归一化存在若干缺陷，因为在点云上学习时需借助小批次来缓解内存限制。虽然有理据的权重初始化策略可令批归一化变得不必要，从而避免这些缺陷，但迄今尚未有点卷积网络的相关方法被提出。为填补此空白，我们提出一个统一众多连续卷积的框架。这促成了我们的主要贡献——方差感知权重初始化。我们表明，该初始化可避免使用批归一化，同时取得相似乃至在某些情况下更优的性能。
引用
@article{arxiv.2112.03777,
title = {Variance-Aware Weight Initialization for Point Convolutional Neural Networks},
author = {Pedro Hermosilla and Michael Schelling and Tobias Ritschel and Timo Ropinski},
journal= {arXiv preprint arXiv:2112.03777},
year = {2022}
}
备注
Accepted at ECCV 2022