在循环中利用预训练语言模型训练大规模新闻推荐器
信息检索
2021-03-08 v2 人工智能
计算与语言
摘要
新闻推荐需要对新闻文章底层语义的深入洞察。因此，预训练语言模型（PLM），如 BERT 和 RoBERTa，可能显著提升推荐质量。然而，将新闻推荐器与此类大型模型联合训练极具挑战：新闻推荐器的学习需要密集的新闻编码操作，若以 PLM 作为新闻编码器，其代价难以承受。本文提出一种新颖框架 SpeedyFeed，可高效训练具有优越质量的基于 PLM 的新闻推荐器。SpeedyFeed 的亮点在于其轻量级编码流水线，带来三大主要优势。首先，它使中间结果对训练工作流完全可复用，从而消除大多数重复但冗余的编码操作。其次，它提升了训练工作流的数据效率，可将无信息数据排除在编码之外。第三，它通过利用简化的新闻编码和紧凑的新闻表示进一步节省成本。大量实验表明，SpeedyFeed 使训练过程加速超过 100，从而能够在海量用户数据上高效且有效地训练大型模型。SpeedyFeed 训练得到的基于 PLM 的模型表现出极具竞争力的性能，以显著优势超越最先进的新闻推荐器。SpeedyFeed 还是一个模型无关的框架，潜在适用于广泛的内容型推荐系统；因此，整个框架已开源以促进相关领域的进展。
引用
@article{arxiv.2102.09268,
title = {Training Large-Scale News Recommenders with Pretrained Language Models in the Loop},
author = {Shitao Xiao and Zheng Liu and Yingxia Shao and Tao Di and Xing Xie},
journal= {arXiv preprint arXiv:2102.09268},
year = {2021}
}