时间至关重要：通过鲁棒的用户停留时间注入增强预训练新闻推荐模型

大语言模型（LLMs）革新了文本理解，催生了利用LLMs进行深度新闻理解的最先进（SOTA）新闻推荐模型。尽管如此，由于点击行为固有的不确定性，准确建模用户偏好仍然具有挑战性。Transformer中的多头注意力等技术试图通过捕获点击之间的交互来缓解这一问题，但在整合显式反馈信号方面仍有不足。用户停留时间作为一个强有力的指标出现，具有增强来自点击的弱信号的潜力。然而，其现实世界的适用性值得怀疑，尤其是当停留时间数据收集存在延迟时。为弥补这一差距，本文提出了两种新颖且鲁棒的停留时间注入策略，即停留时间权重（DweW）和停留时间感知（DweA）。DweW专注于通过详细分析停留时间来细化有效用户点击，并与初始行为输入相结合，构建更鲁棒的用户偏好。DweA使模型能够感知停留时间信息，从而在用户建模中自主调整注意力值。这种增强提高了模型准确识别用户偏好的能力。在使用MSN网站真实新闻数据集的实验中，我们验证了这两种策略显著提升了推荐性能，倾向于高质量新闻。关键的是，我们的方法对用户停留时间信息具有鲁棒性，即使在停留时间数据完全缺失的极端情况下，也能保持推荐高质量内容的能力。