ACE-BERT：用于电商检索的对抗式跨模态增强 BERT
信息检索
2021-12-15 v1 人工智能
机器学习
摘要
如今在电商平台上，商品以多模态形式呈现给客户。这些多模态信息对于向客户展示具吸引力的商品之检索系统而言至关重要。因此，如何同时考虑这些多模态以提升检索性能是关键问题。由于以下原因，该问题对我们而言是巨大挑战：（1）利用预训练图像模型（如基于 CNN 的模型）提取块特征的方式具有较强归纳偏置，难以从电商商品图像中捕获有效信息。（2）多模态数据的异质性使得在公共子空间中构建包含标题与图像的查询文本与商品之表示颇具挑战。我们提出了一种新颖的对抗式跨模态增强 BERT（ACE-BERT）以实现高效电商检索。具体而言，ACE-BERT 将块特征与像素特征用作图像表示，从而 Transformer 架构可直接应用于原始图像序列。以预训练的增强 BERT 为骨干网络，ACE-BERT 进一步通过添加域分类器采用对抗学习，以确保不同模态表示分布的一致性，从而缩小查询与商品间的表示鸿沟。实验结果表明，ACE-BERT 在检索任务上优于当前最优方法。值得注意的是，ACE-BERT 已部署于我们的电商搜索引擎中，带来了 1.46% 的收入提升。
引用
@article{arxiv.2112.07209,
title = {ACE-BERT: Adversarial Cross-modal Enhanced BERT for E-commerce Retrieval},
author = {Boxuan Zhang and Chao Wei and Yan Jin and Weiru Zhang},
journal= {arXiv preprint arXiv:2112.07209},
year = {2021}
}