基于 Mixup 的跨语言食谱检索自适应方法
计算机视觉与模式识别
2022-05-10 v1
摘要
近年来，跨模态食谱检索因大规模配对数据可用于训练而吸引了研究关注。然而，获取覆盖大多数菜系、充足的食谱-图像配对用于监督学习即便可能也极为困难。通过将从数据丰富菜系学到的知识迁移到数据稀缺菜系，域自适应为这一实际问题带来曙光。然而，现有工作假设源域和目标域中的食谱大多源自同一菜系且以同一种语言书写。本文研究图像到食谱检索的无监督域自适应，其中源域和目标域的食谱使用不同语言。此外，目标域中仅提供食谱用于训练。提出了一种新颖的食谱 mixup 方法来学习两域间可迁移的嵌入特征。具体而言，食谱 mixup 通过离散地交换源域和目标域食谱之间的部分章节来生成混合食谱，以形成中间域。为弥合域差距，提出食谱 mixup 损失以强制中间域位于食谱嵌入空间中源域和目标域之间的最短测地路径上。以 Recipe 1M 数据集作为源域（英文）、Vireo-FoodTransfer 数据集作为目标域（中文）进行的实证实验，验证了食谱 mixup 在图像到食谱检索跨语言自适应中的有效性。
引用
@article{arxiv.2205.03891,
title = {Cross-lingual Adaptation for Recipe Retrieval with Mixup},
author = {Bin Zhu and Chong-Wah Ngo and Jingjing Chen and Wing-Kwong Chan},
journal= {arXiv preprint arXiv:2205.03891},
year = {2022}
}
备注
Accepted by ICMR2022