使用层次融合的多模态电商产品分类
人工智能
2022-07-12 v1
摘要
在本工作中，我们提出了一种用于商业产品分类的多模态模型，该模型使用简单的融合技术，将多个神经网络模型从文本（CamemBERT和FlauBERT）和视觉数据（SE-ResNeXt-50）中提取的特征相结合。所提出的方法显著优于单模态模型的性能以及类似模型在我们特定任务上已报告的性能。我们使用多种融合技术进行了实验，发现组合单模态网络各个嵌入的最佳执行技术基于拼接与平均特征向量的结合。每种模态弥补了其他模态的不足，表明增加模态数量可以是改进多标签和多模态分类问题性能的有效方法。
引用
@article{arxiv.2207.03305,
title = {Multimodal E-Commerce Product Classification Using Hierarchical Fusion},
author = {Tsegaye Misikir Tashu and Sara Fattouh and Peter Kiss and Tomas Horvath},
journal= {arXiv preprint arXiv:2207.03305},
year = {2022}
}