统一多模态电商搜索框架 UniECS：带门控跨模态融合
信息检索
2025-08-20 v1 人工智能
摘要
当前电商多模态检索系统面临两个关键局限：它们针对特定任务优化，模态配对固定；缺乏用于评估统一检索方法的综合基准。为此，我们提出 UniECS，一个统一的多模态电商搜索框架，能够处理图像、文本及其组合的所有检索场景。我们的工作做出了三个关键贡献：首先，我们提出一种灵活的架构，引入新颖的门控多模态编码器，采用自适应融合机制。该编码器整合不同模态的表示，同时处理缺失的模态。其次，我们开发了全面的训练策略进行优化。它结合跨模态对齐损失 (CMAL)、凝聚局部对齐损失 (CLAL)、单模态对比损失 (IMCL) 以及自适应损失加权。最后，我们创建了 M-BEER，一个精心挑选的多模态基准，包含 50K 商品配对，用于电商搜索评估。大量实验表明，UniECS 在四个电商基准上均优于现有方法，无论是精调还是零样本评估。在我们的 M-BEER 基准上，UniECS 在跨模态任务中实现显著提升（文本到图像检索中 R@10 提升最高可达 28%），同时保持参数效率 (0.2B 参数)，远低于规模较大的模型如 GME-Qwen2VL (2B) 和 MM-Embed (8B)。此外，我们将 UniECS 部署在快手 Inc. 的电商搜索平台上，覆盖两个搜索场景，实现显著提升：点击-through rate 提升 +2.74%，收入提升 +8.33%。全面的评估表明，我们的方法在实验和真实世界环境中均有效。相应的代码、模型和数据集将在 https://github.com/qzp2018/UniECS 上公开。
引用
@article{arxiv.2508.13843,
title = {UniECS: Unified Multimodal E-Commerce Search Framework with Gated Cross-modal Fusion},
author = {Zihan Liang and Yufei Ma and ZhiPeng Qian and Huangyu Dai and Zihan Wang and Ben Chen and Chenyi Lei and Yuqing Ding and Han Li},
journal= {arXiv preprint arXiv:2508.13843},
year = {2025}
}
备注
Accepted at CIKM2025 as a long paper