基于自适应阈值的多模态表示学习用于商品核验
机器学习
2022-10-18 v4
摘要
本文提出一种识别相同商品的方法。在电商场景中，商品通常由图像和文本共同描述。根据定义，相同商品是指具有相同的关键属性且在消费者认知上一致的商品。存在两个主要挑战：1）多模态表示的提取与融合。2）通过比较表示间相似度与阈值来核验相同商品的能力。为解决上述问题，我们提出一种带自适应阈值的端到端多模态表示学习方法。我们使用双流网络分别提取多模态商品嵌入和阈值嵌入，然后拼接得到商品表示。我们的方法能够根据不同商品自适应调整阈值，同时保持商品表示空间的可索引性。我们通过实验验证了自适应阈值的优势以及多模态表示融合的有效性。此外，我们的方法在 CCKS-2022 数字商务知识图谱评测竞赛的第二项任务中以 0.8936 的 F1 分数获得第三名。代码与预训练模型可在 https://github.com/hanchenchen/CCKS2022-track2-solution 获取。
引用
@article{arxiv.2208.11064,
title = {Multi-Modal Representation Learning with Self-Adaptive Threshold for Commodity Verification},
author = {Chenchen Han and Heng Jia},
journal= {arXiv preprint arXiv:2208.11064},
year = {2022}
}