大规模稀疏特征嵌入模型的自适应正则化
机器学习
2026-01-28 v2 机器学习
摘要
单 epoch 过拟合问题引起了广泛关注，尤其是在搜索、广告和推荐领域的点击率(CTR)和转化率(CVR)估计模型中。这类依赖于大规模稀疏分类特征的模型，在进行多 epoch训练时常常会出现显著的性能下降。尽管近期研究提出了诸多启发式解决方案，但这一现象的根本原因仍不明确。本文基于Rademacher复杂度，提出理论解释，支持实验验证，以阐明大规模稀疏分类特征模型为何会出现过拟合。基于此分析，我们提出一种约束嵌入层自适应范数预算的正则化方法。我们的做法不仅防止了多 epoch训练中观察到的严重性能退化，还提升了单个 epoch内的模型性能。该方法已部署于线上生产系统。
引用
@article{arxiv.2511.06374,
title = {Adaptive Regularization for Large-Scale Sparse Feature Embedding Models},
author = {Mang Li and Wei Lyu},
journal= {arXiv preprint arXiv:2511.06374},
year = {2026}
}