仅编码一次：使基于内容的新闻推荐更绿色
信息检索
2023-08-29 v1
摘要
大型预训练语言模型（PLM）因其对文本内容的强大理解能力，已成为现代新闻推荐系统中事实上的新闻编码器。这些基于 Transformer 的庞大架构在推荐任务上微调后，可大幅提升新闻推荐性能。然而，基于 PLM 的预训练-微调框架带来了高计算成本与能耗，主要源于每个训练周期中对新闻编码的大量冗余处理。本文提出用于新闻推荐的“仅编码一次”框架（OLEO），将新闻表示学习从下游推荐任务学习中解耦。该解耦设计使基于内容的新闻推荐器变得与基于 id 的推荐器一样绿色高效，大幅降低了计算成本与训练资源。大量实验表明，与最先进（SOTA）的预训练-微调框架相比，我们的 OLEO 框架可减少多达 13 倍的碳排放，并保持有竞争力甚至更优的性能水平。源代码已发布以保证可复现性。
引用
@article{arxiv.2308.14155,
title = {Only Encode Once: Making Content-based News Recommender Greener},
author = {Qijiong Liu and Jieming Zhu and Quanyu Dai and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2308.14155},
year = {2023}
}