基于多模态融合模型的多标签商品分类
机器学习
2019-09-18 v2 计算机视觉与模式识别
机器学习
摘要
在本研究中，我们探讨了利用图像、描述与标题对亚马逊电商平台商品进行多模态分类的方法。具体而言，我们考察了晚期融合模型，即各模态在决策层进行融合。每件商品被赋予多个标签，标签间的层级结构被扁平化并过滤。对于各自的基线模型，我们修改了一种 CNN 架构以对描述与标题分类，并修改 Keras 的 ResNet-50 以对图像分类，分别取得 77.0%、82.7% 与 61.0% 的 分数。相比之下，我们的三模态晚期融合模型比单模态模型能更有效地分类商品，将 分数提升至 88.2%。各模态互补了其他模态的不足，表明增加模态数量可作为提升多标签分类问题性能的有效方法。
引用
@article{arxiv.1907.00420,
title = {Multi-Label Product Categorization Using Multi-Modal Fusion Models},
author = {Pasawee Wirojwatanakul and Artit Wangperawong},
journal= {arXiv preprint arXiv:1907.00420},
year = {2019}
}