面向微视频-商品检索的多队列动量对比
计算机视觉与模式识别
2022-12-23 v1 多媒体
摘要
微视频的蓬勃发展与巨大市场为商家带来了新的电商渠道。当前，越来越多微视频发布者倾向于将相关广告嵌入其微视频中，这不仅为他们提供了商业收入，也帮助观众发现感兴趣的商品。然而，由于微视频由非专业设备录制、涉及多样主题且包含多种模态，高效、恰当且准确地定位与微视频相关的商品颇具挑战。我们形式化了微视频-商品检索任务，这是首次尝试探索多模态与多模态实例间的检索。我们提出一种名为多队列动量对比（MQMC）网络的新方法用于双向检索，其由单模态特征与多模态实例表示学习组成。此外，采用基于多队列的判别性选择策略，依据不同负样本类别区分其重要性。我们收集了两个大规模微视频-商品数据集（MVS 与 MVS-large）用于评估，并手动构建了层次化类别本体，涵盖日常生活中的各类商品。大量实验表明 MQMC 优于当前最优基线。我们的复现包（含代码、数据集等）公开于 https://github.com/duyali2000/MQMC。
引用
@article{arxiv.2212.11471,
title = {Multi-queue Momentum Contrast for Microvideo-Product Retrieval},
author = {Yali Du and Yinwei Wei and Wei Ji and Fan Liu and Xin Luo and Liqiang Nie},
journal= {arXiv preprint arXiv:2212.11471},
year = {2022}
}
备注
Proceedings of the Sixteenth ACM International Conference on Web Search and Data Mining (WSDM '23), February 27-March 3, 2023, Singapore, Singapore