预训练与微调：将推荐系统视为大模型

实际情况下，用户在不同的时间、地点、场景等方面的兴趣差异很大，这些兴趣的变化剧烈到难以被推荐系统捕捉。现有的多域学习可以缓解这一问题。然而，工业级推荐系统的结构复杂，数据量巨大，训练成本极高，因此难以修改工业级推荐系统的结构并进行再训练。为填补这一空白，我们考虑将推荐系统视为大预训练模型并进行微调。我们首先提出了微调的信息瓶颈理论，并为推荐系统中的微调技术提供了解释。为适配推荐任务，我们设计了一种信息感知自适应核（IAK）技术，用于微调预训练的推荐模型。具体而言，我们将微调定义为两个阶段：知识压缩和知识匹配，并让IAK的训练阶段显式地近似这两个阶段。我们从微调的本质出发设计的我们方法具有很好的可解释性。大量的线上和线下实验表明，我们提出的方法优于现有方法。此外，我们还分享了在大规模在线平台上部署该方法时所学到的独特且重要的经验教训。我们也提出了推荐系统中微调技术的潜在问题及相应的解决方案。采用IAK技术的推荐模型已在规模为十亿的用户规模的在线食品平台首页部署了几个月，并在业务中产生了显著的利润。