基于知识蒸馏的有向无环图因子分解机用于点击率预测
信息检索
2022-12-23 v2 机器学习
摘要
随着网页级推荐系统中高维稀疏数据的增长，在点击率（CTR）预测任务中学习高阶特征交互的计算成本大幅增加，这限制了高阶交互模型在真实工业应用中的使用。一些近期基于知识蒸馏的方法将知识从复杂教师模型迁移到浅层学生模型以加速在线模型推理。然而，它们在知识蒸馏过程中存在模型精度下降的问题。平衡浅层学生模型的效率与效果具有挑战性。为解决该问题，我们提出有向无环图因子分解机（KD-DAGFM），通过知识蒸馏从现有复杂交互模型中学习用于CTR预测的高阶特征交互。所提出的轻量级学生模型DAGFM能够从教师网络学习任意显式特征交互，其实现了近似无损的性能，并通过动态规划算法得到证明。此外，一个改进的通用电模型KD-DAGFM+被证明能有效地从任意复杂教师模型中蒸馏显式与隐式特征交互。我们在四个真实世界数据集上进行了大量实验，包括来自微信平台、具有数十亿特征维度的工业规模数据集。KD-DAGFM以少于最先进方法21.5%的FLOPs取得了最佳性能，在在线与离线实验上均表明DAGFM在处理CTR预测任务中工业规模数据的优越性。我们的实现代码见：https://github.com/RUCAIBox/DAGFM。
引用
@article{arxiv.2211.11159,
title = {Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation},
author = {Zhen Tian and Ting Bai and Zibin Zhang and Zhiyuan Xu and Kangyi Lin and Ji-Rong Wen and Wayne Xin Zhao},
journal= {arXiv preprint arXiv:2211.11159},
year = {2022}
}