SML：通过跳跃元 Logit 增强网络平滑性以进行 CTR 预测
信息检索
2022-10-20 v1 机器学习
摘要
鉴于 ResNet 中跳跃连接带来的平滑性，本文提出 Skip Logit 以引入适应任意 DNN 维度且具备类似 ResNet 性质的跳跃连接机制。Meta Tanh Normalization（MTN）被设计用于学习方差信息并稳定训练过程。借助这些精细设计，我们的 Skip Meta Logit（SML）在两个真实世界数据集上为广泛的 SOTA ctr 预测模型带来了性能上的增量提升。同时，我们证明了任意深度跳跃 logit 网络的优化地形没有伪局部最优。最后，SML 可轻松添加至构建模块，并在 TikTok 的应用广告学习排序系统中取得了离线条数与在线业务指标的提升。
引用
@article{arxiv.2210.10725,
title = {SML:Enhance the Network Smoothness with Skip Meta Logit for CTR Prediction},
author = {Wenlong Deng and Lang Lang and Zhen Liu and Bin Liu},
journal= {arXiv preprint arXiv:2210.10725},
year = {2022}
}