BACH：用于多兴趣双塔检索的贝叶斯对比头混合模型
信息检索
2026-07-09 v1 机器学习
摘要
双塔检索器将每个用户压缩为单个嵌入，限制了其服务多样化兴趣的能力。多兴趣模型为每个用户提供多个头，通过最大内积进行评分，但其硬路由训练未能充分利用头（路由崩溃），并且无法为每个用户提供每个兴趣在服务中的重要性的估计。我们提出了\textbf{BACH}（\emph{贝叶斯对比头混合模型}），它将多兴趣双塔检索视为用户对头的混合，通过变分推断进行拟合。软混合训练了每个头（缓解了崩溃），产生了在服务时复用的用户兴趣权重，并支持具有可预计算检索的共享全局码本变体。在三个大规模基准测试（MovieLens-20M、Taobao和Netflix）上，BACH在每种头数量下都优于硬路由多兴趣和单向量基线，改善了排名靠前的检索；我们进一步发现，与服务一致地按每个候选的最佳头进行评分，优于通常的目标路由训练，并且BACH在此基础上表现更佳。
引用
@article{arxiv.2607.08107,
title = {BACH: A Bayesian Admixture of Contrastive Heads for Multi-Interest Two-Tower Retrieval},
author = {Quoc Phong Nguyen and Paul Albert and Long Vuong and Vuong Le and Julien Monteil},
journal= {arXiv preprint arXiv:2607.08107},
year = {2026}
}