Tiny-NewsRec：基于PLM的高效且有效的新闻推荐
信息检索
2022-12-13 v2
摘要
新闻推荐是一种被广泛采用以为用户提供个性化新闻流的技术。近来，预训练语言模型（PLMs）展现了强大的自然语言理解能力，并通过改进新闻建模惠及新闻推荐。然而，多数现有工作仅用新闻推荐任务对PLM进行微调，可能受预训练语料与下游新闻文本间已知的领域偏移问题影响。此外，PLM通常含大量参数且计算开销高，给低延迟在线服务带来沉重负担。本文提出Tiny-NewsRec，可同时提升基于PLM的新闻推荐的效果与效率。我们首先设计自监督领域特定后训练方法，通过新闻标题与正文间的对比匹配任务使通用PLM更好适配新闻领域。进一步提出两阶段知识蒸馏方法，在保持大模型性能的同时提升基于大型PLM的新闻推荐模型效率。源自后训练过程不同时间步的多个教师模型，在其后训练与微调阶段向学生迁移全面知识。在两个真实数据集上的大量实验验证了本方法的有效性与高效性。
引用
@article{arxiv.2112.00944,
title = {Tiny-NewsRec: Effective and Efficient PLM-based News Recommendation},
author = {Yang Yu and Fangzhao Wu and Chuhan Wu and Jingwei Yi and Qi Liu},
journal= {arXiv preprint arXiv:2112.00944},
year = {2022}
}
备注
Accepted by EMNLP 2022