CL4CTR:一种用于CTR预测的对比学习框架
信息检索
2022-12-02 v1 人工智能
摘要
许多点击率(CTR)预测工作专注于设计先进架构以建模复杂特征交互,却忽视了特征表示学习的重要性,例如对每个特征采用普通嵌入层,导致次优特征表示从而CTR预测性能不佳。例如,在诸多CTR任务中占特征多数的低频特征,在标准监督学习设定下较少被考虑,导致次优特征表示。本文中,我们引入自监督学习直接生成高质量特征表示,并提出与模型无关的CTR对比学习(CL4CTR)框架,由三个自监督学习信号来正则化特征表示学习:对比损失、特征对齐和字段均匀性。对比模块首先通过数据增强构造正特征对,然后通过对比损失最小化每对正特征对表示间的距离。特征对齐约束迫使来自同一字段的特征表示相近,字段均匀性约束迫使来自不同字段的特征表示相远。大量实验验证CL4CTR在四个数据集上取得最佳性能,并与多种代表性基线具有优异的有效性与兼容性。
引用
@article{arxiv.2212.00522,
title = {CL4CTR: A Contrastive Learning Framework for CTR Prediction},
author = {Fangye Wang and Yingxu Wang and Dongsheng Li and Hansu Gu and Tun Lu and Peng Zhang and Ning Gu},
journal= {arXiv preprint arXiv:2212.00522},
year = {2022}
}
备注
WSDM 2023