多模态极致分类
信息检索
2023-09-12 v1 计算机视觉与模式识别
摘要
本文提出了MUFIN技术，用于具有数百万标签的极致分类（XC）任务，其中数据点和标签均带有视觉与文本描述符。文中给出了MUFIN在数百万产品的产品间推荐与竞价查询预测上的应用。当代多模态方法常依赖纯基于嵌入的方法。另一方面，XC方法利用分类器架构提供优于仅嵌入方法的精度，但大多聚焦于基于文本的分类任务。MUFIN通过将多模态分类重新表述为具有数百万标签的XC问题来弥合这一差距。这带来了双重挑战：开发能够提供足够具表达力的嵌入以在数百万标签上实现准确分类的多模态架构；以及开发和标签数量呈对数规模伸缩的训练与推理流程。MUFIN基于跨模态注意力开发了一种架构，并以模块化方式利用预训练与正负样本挖掘进行训练。我们从公开可用的amazon.com listings中整理了一个包含超过30万产品的新型产品间推荐数据集MM-AmazonTitles-300K，每个产品带有标题与多张图像。在所有数据集上，MUFIN相较领先的基于文本、基于图像及多模态技术均提供了至少3%更高的准确率。MUFIN的代码可在 https://github.com/Extreme-classification/MUFIN 获取。
引用
@article{arxiv.2309.04961,
title = {Multi-modal Extreme Classification},
author = {Anshul Mittal and Kunal Dahiya and Shreya Malani and Janani Ramaswamy and Seba Kuruvilla and Jitendra Ajmera and Keng-hao Chang and Sumeet Agarwal and Purushottam Kar and Manik Varma},
journal= {arXiv preprint arXiv:2309.04961},
year = {2023}
}