Helen：通过频率相关Hessian特征值正则化优化点击率预测模型

点击率（CTR）预测在在线广告和推荐场景中至关重要。尽管近年来CTR预测模型层出不穷，但性能提升仍然有限，正如开源基准评估所证明的那样。当前研究者倾向于专注于为不同数据集和设置开发新模型，常常忽略一个关键问题：是什么关键挑战使得CTR预测如此困难？在本文中，我们从优化角度处理CTR预测问题。我们探索了CTR预测的典型数据特征和优化统计量，揭示了顶部Hessian特征值与特征频率之间存在强正相关。这种相关性意味着频繁出现的特征倾向于收敛到尖锐的局部最小值，最终导致次优性能。受最近锐度感知最小化（SAM）进展的启发，该进展在优化过程中考虑了损失景观的几何方面，我们提出了一种专为CTR预测设计的优化器，命名为Helen。Helen通过基于归一化特征频率的自适应扰动，实现了频率相关的Hessian特征值正则化。在开源基准框架下的实证结果突显了Helen的有效性。它成功约束了Hessian矩阵的顶部特征值，并且在应用于BARS上三个公共基准数据集的七个流行模型时，显示出相对于广泛使用的优化算法的明显优势。我们的代码位于github.com/NUS-HPC-AI-Lab/Helen。