利用对抗网络学习烹饪食谱与食物图像的跨模态嵌入
计算机视觉与模式识别
2020-03-10 v1 多媒体
摘要
食物计算在人类日常生活中扮演着日益重要的角色，并在引导人类走向智能食物消费与健康生活方式方面发现了大量应用。食物计算范畴下的一项重要任务是检索，这对于健康相关应用尤为有用，我们感兴趣于检索食物的重要信息（例如配料、营养等）。本文中，我们研究烹饪食谱与食物图像之间跨模态检索这一开放研究任务，并提出一种新颖的框架——对抗跨模态嵌入（Adversarial Cross-Modal Embedding, ACME）来解决食物领域的跨模态检索任务。具体而言，目标是学习两种模态间的公共嵌入特征空间，其中我们的方法包含若干新思路：(i) 使用新的三元组损失方案与有效采样策略进行学习，(ii) 利用对抗学习策略施加模态对齐，以及 (iii) 施加跨模态翻译一致性，使得一种模态的嵌入能够恢复另一模态中对应实例的某些重要信息。ACME在基准Recipe1M数据集上取得了最先进的性能，验证了所提技术的有效性。
引用
@article{arxiv.1905.01273,
title = {Learning Cross-Modal Embeddings with Adversarial Networks for Cooking Recipes and Food Images},
author = {Hao Wang and Doyen Sahoo and Chenghao Liu and Ee-peng Lim and Steven C. H. Hoi},
journal= {arXiv preprint arXiv:1905.01273},
year = {2020}
}
备注
Accepted at CVPR 2019