MALM：基于掩码增强的局部匹配用于食物-食谱检索
计算机视觉与模式识别
2023-05-22 v1 机器学习
多媒体
摘要
图像到食谱的检索是一项具有重大实用价值的、充满挑战的视觉到语言任务。该任务的主要挑战在于长食谱中极高的冗余性，以及食物项组合与食物项外观所反映出的巨大差异。解决该任务的一个事实上的思路是学习一个共享的特征嵌入空间，在其中食物图像与其配对食谱的对齐优于与其他食谱的对齐。然而，这种有监督的全局匹配容易出现监督坍缩，即只能识别出区分训练对所必需的部分信息，而可能有助于泛化的其他信息则会丢失。为缓解该问题，我们提出了一种基于掩码增强的局部匹配网络（MALM），其中图像-文本匹配模块与掩码自蒸馏模块相互受益，以学习可泛化的跨模态表示。一方面，我们对图像与文本的令牌化表示进行局部匹配，以显式定位细粒度跨模态对应。我们在此过程中引入掩码图像块的表示，以缓解由局部匹配引起的过拟合，尤其在某些食物项代表性不足时。另一方面，通过自蒸馏预测掩码块的隐藏表示有助于学习预期泛化更好的通用图像表示。并且该模型的多任务特性使得掩码块的表示具有文本感知能力，从而促进丢失信息的重建。在 Recipe1M 数据集上的实验结果表明，我们的方法可以明显优于当前最优（SOTA）方法。我们的代码将发布于 https://github.com/MyFoodChoice/MALM_Mask_Augmentation_based_Local_Matching-_for-_Food_Recipe_Retrieval
引用
@article{arxiv.2305.11327,
title = {MALM: Mask Augmentation based Local Matching for Food-Recipe Retrieval},
author = {Bhanu Prakash Voutharoja and Peng Wang and Lei Wang and Vivienne Guan},
journal= {arXiv preprint arXiv:2305.11327},
year = {2023}
}
备注
Under review. Link to the dataset repo - https://github.com/torralba-lab/im2recipe-Pytorch#recipe1m-dataset