基于分阶段预训练的多模态生成式检索模型在美团食品配送中的应用
信息检索
2026-02-09 v1 人工智能
摘要
多模态检索模型在诸如食品配送等场景中日益重要，因为丰富的多模态特征可以满足用户的多样化需求并实现精准检索。主流方法通常采用查询与物品项之间的双塔架构，并对塔内任务和塔间任务进行联合优化。然而，我们观察到联合优化常常会导致某些模态在训练过程中占据主导地位，而其他模态则被忽视。此外，跨模态的训练速度不一致容易导致“单轮问题”。为此，我们提出了分阶段预训练策略，该策略引导模型在每个阶段专注于特定任务，从而有效地注意和利用多模态特征，并允许灵活控制每个阶段的训练过程以避免“单轮问题”。此外，为了更好地利用压缩高维多模态嵌入的语义ID，我们设计了生成式和判别式任务，以帮助模型理解SID、查询和物品特征之间的关联，从而提高整体性能。在大规模真实世界的美团数据上的大量实验表明，我们的方法在R@5、R@10和R@20上分别实现了3.80%、2.64%和2.17%的提升，在N@5、N@10和N@20上分别实现了5.10%、4.22%和2.09%的提升。美团平台上的在线A/B测试显示，我们的方法在收入上实现了1.12%的提升，在点击率上实现了1.02%的提升，验证了该方法在实际应用中的有效性和优越性。
引用
@article{arxiv.2602.06654,
title = {Multimodal Generative Retrieval Model with Staged Pretraining for Food Delivery on Meituan},
author = {Boyu Chen and Tai Guo and Weiyu Cui and Yuqing Li and Xingxing Wang and Chuan Shi and Cheng Yang},
journal= {arXiv preprint arXiv:2602.06654},
year = {2026}
}