淘宝推荐中的特权特征蒸馏
信息检索
2020-02-27 v2 机器学习
摘要
特征在电商推荐的预测任务中起着重要作用。为保证离线训练与在线服务的一致性，我们通常利用同样可用的相同特征。然而，这种一致性反而忽略了某些判别性特征。例如，在估计转化率（CVR），即用户若点击某商品则会购买该商品的概率时，诸如在商品详情页停留时间等特征是具信息量的。但 CVR 预测需在点击发生前用于在线排序，因此服务期间无法获取此类事件后特征。我们将那些具判别性但仅在训练期间可用的特征定义为特权特征。受弥合训练与推断之间差距的蒸馏技术启发，本工作提出特权特征蒸馏（PFD）。我们训练两个模型，即与学生模型（与原始模型相同）和额外利用特权特征的教师模型。从更准确的教师处蒸馏的知识被迁移至学生以提升其准确率。服务期间仅抽取学生部分，且其不依赖任何特权特征。我们在淘宝推荐的两个基础预测任务上开展实验，即粗粒度排序的点击率（CTR）与细粒度排序的 CVR。通过蒸馏服务于 CTR 时禁止的交互特征以及用于 CVR 的事件后特征，我们相较其强基线取得了显著提升。在线 A/B 测试中，CTR 任务的点击指标提升 +5.0%，CVR 任务的转化指标提升 +2.3%。此外，通过解决 PFD 训练中的若干问题，我们获得了与无蒸馏基线相当的训练速度。
引用
@article{arxiv.1907.05171,
title = {Privileged Features Distillation at Taobao Recommendations},
author = {Chen Xu and Quan Li and Junfeng Ge and Jinyang Gao and Xiaoyong Yang and Changhua Pei and Fei Sun and Jian Wu and Hanxiao Sun and Wenwu Ou},
journal= {arXiv preprint arXiv:1907.05171},
year = {2020}
}
备注
9 pages