用于多模态商品图像分割的互查询网络
计算机视觉与模式识别
2023-06-27 v1
摘要
商品图像分割在电子商务中至关重要。现有大多数方法仅基于视觉模态提取商品图像前景，难以区分不相关商品。由于商品标题包含丰富的外观信息并为商品图像分割提供互补线索，我们提出一种互查询网络，基于视觉与语言两种模态对商品进行分割。首先，我们设计语言查询视觉模块以获取语言描述在图像区域中的响应，从而跨模态对齐视觉与语言表示。随后，视觉查询语言模块利用视觉与语言模态间的相关性过滤商品标题，并有效抑制标题中与视觉无关的内容。为推动该领域研究，我们还构建了多模态商品分割数据集（MMPS），包含 30,000 张图像及相应标题。所提方法在 MMPS 上显著优于当前最先进的方法。
引用
@article{arxiv.2306.14399,
title = {Mutual Query Network for Multi-Modal Product Image Segmentation},
author = {Yun Guo and Wei Feng and Zheng Zhang and Xiancong Ren and Yaoyu Li and Jingjing Lv and Xin Zhu and Zhangang Lin and Jingping Shao},
journal= {arXiv preprint arXiv:2306.14399},
year = {2023}
}
备注
Accepted by ICME2023