释放双塔模型的潜力：基于扩散的交叉交互用于大规模匹配
信息检索
2025-03-03 v1 人工智能
摘要
双塔模型广泛应用于内容推荐、广告系统和搜索引擎等众多应用领域的工业级匹配阶段。该模型通过分离用户和物品表示，高效处理大规模候选物品筛选。然而，解耦网络也导致忽略了用户和物品表示之间潜在的信息交互。当前最先进(SOTA)的方法包括添加一个浅层全连接层(即 COLD)，其受限于性能且只能用于排序阶段。出于性能考虑，另一种方法试图通过将另一塔的历史正交互信息视为输入特征(即 DAT)来捕获它们。后续研究表明，由于缺乏对下一用户意图的指导，该方法所取得的收益仍然有限。为了应对上述挑战，我们在匹配范式中提出了一种“交叉交互解耦架构”。这种用户塔架构利用扩散模块来重建下一个正意图表示，并采用混合注意力模块来促进全面的交叉交互。在下一个正意图生成期间，我们通过显式提取用户行为序列中的时间漂移，进一步提高了其重建的准确性。在两个真实世界数据集和一个工业数据集上的实验表明，我们的方法显著优于 SOTA 双塔模型，并且我们的扩散方法在重建物品表示方面优于其他生成模型。
引用
@article{arxiv.2502.20687,
title = {Unleashing the Potential of Two-Tower Models: Diffusion-Based Cross-Interaction for Large-Scale Matching},
author = {Yihan Wang and Fei Xiong and Zhexin Han and Qi Song and Kaiqiao Zhan and Ben Wang},
journal= {arXiv preprint arXiv:2502.20687},
year = {2025}
}