IntTower：用于预排序系统的下一代双塔模型
信息检索
2022-10-19 v1
摘要
在几毫秒内精确地对大量候选打分对工业预排序系统至关重要。现有预排序系统主要采用\textbf{双塔}模型，因为“用户-物品解耦架构”范式能够平衡\textit{效率}与\textit{效果}。然而，高效率的代价是忽略了用户塔与物品塔之间潜在的信息交互，严重阻碍了预测精度。在本文中，我们表明设计一种兼顾信息交互与推理效率的双塔模型是可能的。所提模型IntTower（意为\textit{交互增强双塔}）由Light-SE、FE-Block和CIR模块组成。具体而言，轻量级Light-SE模块用于识别不同特征的重要性并在各塔中获得精炼的特征表示；FE-Block模块执行细粒度且早期的特征交互以显式捕获用户与物品塔之间的交互信号；CIR模块利用对比交互正则化进一步隐式增强交互。在三个公开数据集上的实验结果表明，IntTower显著优于SOTA预排序模型，甚至与排序模型相比取得了相当的性能。此外，我们进一步在大规模广告预排序系统上验证了IntTower的有效性。IntTower的代码公开可用\footnote{https://github.com/archersama/IntTower}
引用
@article{arxiv.2210.09890,
title = {IntTower: the Next Generation of Two-Tower Model for Pre-Ranking System},
author = {Xiangyang Li and Bo Chen and HuiFeng Guo and Jingjie Li and Chenxu Zhu and Xiang Long and Sujian Li and Yichao Wang and Wei Guo and Longxia Mao and Jinxing Liu and Zhenhua Dong and Ruiming Tang},
journal= {arXiv preprint arXiv:2210.09890},
year = {2022}
}
备注
Accept by CIKM 2022 & DLP-KDD best paper