基于加权对抗学习的跨域食物图像到食谱检索
多媒体
2023-04-18 v1
摘要
食物图像到食谱旨在学习一个嵌入空间，将食谱中的丰富语义与食物图像的视觉内容相链接，以进行跨模态检索。现有研究工作通过假设所有图像-食谱训练样本对属于同一菜系来学习该空间。因此，尽管文献中报道了优异性能，该空间不可迁移用于检索不同菜系的食谱。本文旨在通过跨域食物图像到食谱检索解决此问题，从而通过利用源域(某一菜系)中丰富的图像-食谱对，使嵌入空间可泛化到没有图像与食谱配对训练的目标域(另一菜系)。基于不同源样本重要性应不同的直觉，本文提出两种用于跨域食物图像到食谱检索的新机制，即源数据选择器和加权跨模态对抗学习。前者旨在选择类似于目标数据的源样本并过滤掉相异样本用于训练。后者能够为更类似于目标数据的源样本分配更高权重，并为相异样本分配更低权重以抑制其用于跨模态与对抗学习。权重由预训练的源模型提取的食谱特征计算。在三种不同菜系(川、粤和和食)上的实验表明，所提方法在所有迁移中均达到最先进的性能。
引用
@article{arxiv.2304.07387,
title = {Cross-domain Food Image-to-Recipe Retrieval by Weighted Adversarial Learning},
author = {Bin Zhu and Chong-Wah Ngo and Jingjing Chen and Wing-Kwong Chan},
journal= {arXiv preprint arXiv:2304.07387},
year = {2023}
}