混合编码器：基于混合 Transformer 编码网络的高效精准原生广告推荐

Transformer 编码网络已被证明是理解自然语言的强大工具。它们在原生广告服务中发挥着关键作用，基于用户网页浏览历史促进合适广告的推荐。为求高效推荐，常规方法会用孪生 Transformer 编码器独立生成用户与广告嵌入，从而可利用近似最近邻搜索 (ANN)。鉴于用户与广告的底层语义可能复杂，此类独立生成的嵌入易致信息损失，导致推荐质量下降。尽管另一种编码策略——交叉编码器可更精准，却会带来巨大运行成本，对原生广告推荐等实时服务不可行。本工作中，我们提出混合编码器，通过检索与排序两个连续步骤实现高效精准的原生广告推荐。在检索步骤，用户与广告由孪生组件编码，使相关候选可通过 ANN 搜索召回。在排序步骤，它以解耦嵌入表示每个广告、以广告相关嵌入表示每个用户，有助于从候选集中细粒度筛选高质量广告。得益于预计算与缓存的中间结果，两步均轻量。为优化混合编码器在此两阶段工作流中的表现，开发了渐进式训练流程，逐步建立模型在检索与排序任务上的能力。混合编码器的有效性经实验验证：在极少额外代价下，它显著优于孪生编码器，并达到与交叉编码器相当的推荐质量。