基于蒸馏的多任务学习：一种改善阅读时长的候选生成模型
信息检索
2021-02-16 v1
摘要
在信息流推荐中，第一步是候选生成。大多数候选生成模型基于 CTR 预估，未考虑用户对点击项的满意度。标题低质但吸引人（即标题党）的项可能被推荐给用户，恶化用户体验。该问题的一个解决方案是在多任务学习（MTL）框架下同时建模点击与阅读时长。建模中有两个挑战。其一是如何处理负样本的零时长，这未必表示不喜欢。其二是如何在只能建模单一任务的双塔结构候选生成模型中执行多任务学习。本文中，我们提出一种基于蒸馏的多任务学习（DMTL）方法来应对这两个挑战。我们在 MTL 中通过考虑时长对点击的依赖性来建模时长，随后通过蒸馏将 MTL 教师模型学到的知识迁移到学生候选生成模型。在腾讯看点推荐系统流量日志收集的数据集上的实验表明，所提方法在建模时长上显著优于对比方法，证明了所提候选生成模型的有效性。
引用
@article{arxiv.2102.07142,
title = {Distillation based Multi-task Learning: A Candidate Generation Model for Improving Reading Duration},
author = {Zhong Zhao and Yanmei Fu and Hanming Liang and Li Ma and Guangyao Zhao and Hongwei Jiang},
journal= {arXiv preprint arXiv:2102.07142},
year = {2021}
}
备注
5 pages, 1 figure