时尚电商中的端到端多模态产品匹配

产品匹配，即识别同一产品的不同表示以实现更好的可发现性、策展和定价，是在线市场和电子商务公司的一项关键能力。我们提出一个在工业环境中稳健的多模态产品匹配系统，该环境面临大数据集、数据分布偏移和未见领域等挑战。我们比较了不同方法，并得出结论：通过对比学习训练的预训练图像和文本编码器的相对直接投影，在平衡成本与性能的同时，取得了当前最优结果。我们的解决方案优于单模态匹配系统和大型预训练模型（如 CLIP）。此外，我们展示了如何将人在回路流程与基于模型的预测相结合，在生产系统中实现近乎完美的精确率。