ProMap：用于电商商品映射的数据集
机器学习
2023-09-14 v1 计算机视觉与模式识别
信息检索
摘要
商品映射的目标是判断来自两个不同网店的两个商品列表是否描述同一商品。然而，现有的匹配与非匹配商品对数据集常存在商品信息不完整或仅含差异极大的非匹配商品的问题。因此，尽管在这些数据集上训练的预测模型表现良好，实践中却无法使用，因为它们无法区分极为相似但非匹配的商品对。本文引入两个新的商品映射数据集：ProMapCz 含 1495 对捷克语商品对，ProMapEn 含 1555 对英语商品对，均为从两对网店人工爬取的匹配与非匹配商品。数据集包含商品的图像与文本描述（含规格），是迄今最完整的商品映射数据集之一。此外，非匹配商品分两阶段筛选，形成两类非匹配——近似非匹配与中等非匹配。即便中等非匹配的商品对也远比其他数据集中的非匹配更为相似——例如，它们仍需同品牌且名称与价格相近。经简单数据预处理后，我们在这些及另外两个数据集上训练了若干机器学习算法，以展示 ProMap 数据集的复杂性与完整性。ProMap 数据集作为商品映射进一步研究的黄金标准，弥补了现有数据集的不足。
引用
@article{arxiv.2309.06882,
title = {ProMap: Datasets for Product Mapping in E-commerce},
author = {Kateřina Macková and Martin Pilát},
journal= {arXiv preprint arXiv:2309.06882},
year = {2023}
}