一种用于电商商品分类的多模态后期融合模型
计算机视觉与模式识别
2020-08-17 v1 信息检索
摘要
商品上架的编目是大多数电商平台的一个基本问题。尽管基于单模态的方法已取得了有前景的结果，但可以预期，通过考虑多模态商品信息，其性能可进一步提升。在本研究中，我们探究了一种基于文本与图像模态的多模态后期融合方法，用于对乐天（Rakuten）上的电商商品进行分类。具体而言，我们为每种输入模态开发了模态特定的最先进深度神经网络，随后在决策层将它们融合。在 SIGIR 2020 电子商务研讨会数据挑战赛的多模态商品分类任务上的实验结果表明，与单模态及其他多模态方法相比，我们所提方法具有优越性与有效性。我们的团队 pa_curis 以最终排行榜上 0.9144 的宏-F1（macro-F1）获得第一名。
引用
@article{arxiv.2008.06179,
title = {A Multimodal Late Fusion Model for E-Commerce Product Classification},
author = {Ye Bi and Shuo Wang and Zhongrui Fan},
journal= {arXiv preprint arXiv:2008.06179},
year = {2020}
}
备注
4 pages, SIGIR 2020 E-commerce Workshop Data Challenge Technical Report