EMMa：一个带有材料标注的可扩展多模态多任务物体数据集

我们提出 EMMa，一个包含丰富材料标注的、可扩展的多模态亚马逊产品列表数据集。它包含超过 280 万个物体，每个物体带有图像、列表文本、质量、价格、产品评分，以及其在亚马逊产品类别分类体系中的位置。我们还设计了一个包含 182 种物理材料（如 Plastic $\rightarrow$ Thermoplastic $\rightarrow$ Acrylic）的综合分类法。物体使用该分类法中的一种或多种材料进行标注。利用每个物体可用的众多属性，我们开发了一个智能标注（Smart Labeling）框架，以极少的手动标注工作量快速为所有物体添加新二元标签，使数据集可扩展。我们数据集中的每个物体属性均可作为模型输入或输出，从而在任务配置上产生组合可能性。例如，我们可以训练一个模型从列表文本预测物体类别，或从产品列表图像预测质量与价格。EMMa 为计算机视觉与 NLP 中的多任务学习提供了新基准，并允许从业者大规模高效地添加新任务与物体属性。