单模态与多模态孪生网络在服装搭配补全中的对比

在线时尚购物的普及度持续上升。向顾客提供有效推荐的能力正变得愈发重要。本工作聚焦于 SIGIR 2022 电子商务研讨会的 Fashion Outfits Challenge。该挑战围绕填空（FITB）任务展开，即在给定不完整服装搭配与候选列表的情况下预测缺失单品。本文专注于将孪生网络应用于该任务。更具体地，我们探究来自多模态（文本与视觉模态）信息的融合如何影响模型在该任务上的表现。我们在挑战组织者提供的测试集以及我们在开发阶段创建的带金标准分配的测试集上评估模型。我们发现，使用视觉数据以及视觉与文本数据均在任务上展现出有前景的结果。最后，我们提出了进一步改进本方法的若干方向。