面向异质特征训练数据的自适应批归一化
机器学习
2022-12-01 v2
摘要
批归一化（BN）是许多深度学习应用的重要预处理步骤。由于它是数据依赖过程，对于某些同质数据集而言，它是冗余的甚至会降低性能。本文中，我们提出一种早期可行性评估方法，用于估计在给定数据批次上应用BN的益处。所提方法使用一种新颖的基于阈值的途径，根据对归一化的需求将训练数据批次分为两类。该需求依据所考虑批次的特征异质性决定。所提方法为训练前处理，意味着无训练开销。评估结果表明，在MNIST、Fashion-MNIST、CIFAR-10与CIFAR-100数据集上，所提方法多在小批量尺寸下取得优于传统BN的性能。此外，通过减少内部变量变换的发生，网络稳定性得以提升。
引用
@article{arxiv.2211.02050,
title = {Adaptive Batch Normalization for Training Data with Heterogeneous Features},
author = {Wael Alsobhi and Tarik Alafif and Alaa Abdel-Hakim and Weiwei Zong},
journal= {arXiv preprint arXiv:2211.02050},
year = {2022}
}
备注
6 pages,6 figures