正确的归一化至关重要：理解归一化对点击率预测深度神经网络模型的影响
机器学习
2020-07-08 v2 机器学习
摘要
归一化已成为许多用于机器学习任务的深度神经网络中最基础的组件之一，而深度神经网络也广泛应用于CTR预估领域。在多数已提出的深度神经网络模型中，极少有模型利用归一化方法。尽管诸如Deep & Cross Network（DCN）和Neural Factorization Machine（NFM）等部分工作在结构的MLP部分使用了批归一化（Batch Normalization），但尚无研究彻底探讨归一化对DNN排序系统的影响。本文通过将多种归一化方法应用于DNN模型的特征嵌入与MLP部分，对广泛使用的归一化方案的影响进行了系统性研究。在三个真实世界数据集上进行了大量实验，结果表明正确的归一化显著提升了模型性能。基于上述观察，我们还提出了一种基于LayerNorm的名为仅方差LayerNorm（VO-LN）的新的有效归一化方法，并提出了一种归一化增强的DNN模型NormDNN。关于归一化为何对CTR预估中的DNN模型有效，我们发现归一化的方差起主要作用，并在本文中给出了解释。
引用
@article{arxiv.2006.12753,
title = {Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction},
author = {Zhiqiang Wang and Qingyun She and PengTao Zhang and Junlin Zhang},
journal= {arXiv preprint arXiv:2006.12753},
year = {2020}
}