用于点击率预测的特征交互融合自蒸馏网络
信息检索
2024-11-14 v2
摘要
点击率（CTR）预测在推荐系统、在线广告和搜索引擎中起着至关重要的作用。大多数当前方法通过堆叠或并行结构建模特征交互，有些采用知识蒸馏进行模型压缩。然而，我们观察到这些方法存在一些局限：（1）在并行结构模型中，显式和隐式组件独立且同时执行，导致特征集内信息共享不足。（2）引入知识蒸馏技术带来了复杂的师生框架设计和低知识迁移效率问题。（3）数据集和构建高阶特征交互的过程包含显著噪声，限制了模型效果。为解决这些局限，我们提出了FSDNet，一种包含即插即用融合自蒸馏模块的CTR预测框架。具体而言，FSDNet在每层之间建立显式和隐式特征交互的连接，增强不同特征间的信息共享。最深融合层随后作为教师模型，利用自蒸馏指导浅层训练。在四个基准数据集上的实证评估验证了该框架的有效性和泛化能力。代码可在https://anonymous.4open.science/r/FSDNet获取。
引用
@article{arxiv.2411.07508,
title = {Feature Interaction Fusion Self-Distillation Network For CTR Prediction},
author = {Lei Sang and Qiuze Ru and Honghao Li and Yiwen Zhang and Qian Cao and Xindong Wu},
journal= {arXiv preprint arXiv:2411.07508},
year = {2024}
}