规模化监督是隐式 Lipschitz 正则化器
机器学习
2025-03-20 v1 信息检索
摘要
在现代社交媒体中，推荐系统 (RecSys) 依赖点击-through率 (CTR) 作为衡量用户参与度的标准指标。CTR 预测传统上被建模为二分类任务，以预测用户是否与给定物品交互。然而，这一方法忽略了真实社交建模中存在的复杂性，其中用户、物品及其交互特征在快速变化的在线环境中动态变化。这种动态性常导致模型不稳定，即对短期波动过拟合，而非捕捉更高层次的交互模式。虽然过拟合问题需要更细致的监督，但当前解决方案往往依赖二元标签，通过阈值化简细粒度用户偏好，显著降低监督的丰富性。因此，我们通过增加 CTR 训练中的监督带宽来缓解过拟合问题。具体而言：(i) 在理论层面，我们将细粒度偏好对模型稳定性的影响形式化为 Lipschitz 约束；(ii) 在实验层面，我们发现规模化监督带宽可作为隐式 Lipschitz 正则化器，稳定优化现有 CTR 模型以实现更好的泛化。大量实验表明，规模化监督在无需额外调参的情况下，显著且持续地改善了 CTR 模型的优化过程和性能。
关键词
引用
@article{arxiv.2503.14813,
title = {Scaled Supervision is an Implicit Lipschitz Regularizer},
author = {Zhongyu Ouyang and Chunhui Zhang and Yaning Jia and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2503.14813},
year = {2025}
}
备注
Accepted to the International AAAI Conference on Web and Social Media (ICWSM 2025)