RecipeSnap——一种轻量级图像到食谱模型
计算机视觉与模式识别
2022-05-05 v1
摘要
在本文中，我们旨在解决识别所拍摄菜肴图像并生成相应食物食谱的自动化问题。当前的图像到食谱模型计算开销大，需要强大的 GPU 进行模型训练与部署。高计算成本阻碍了这些现有模型部署到智能手机等便携设备上。为解决此问题，我们引入了轻量级图像到食谱预测模型 RecipeSnap，其将内存成本和计算成本降低 90% 以上，同时仍达到 2.0 MedR，与最先进（state-of-the-art）模型一致。使用预训练的食谱编码器计算食谱嵌入。从 Recipe1M 数据集收集的食谱及相应食谱嵌入作为食谱库，用于图像编码器训练和后续图像查询。我们使用 MobileNet-V2 作为图像编码器主干，使我们的模型适用于便携设备。该模型可进一步以少量工作开发为智能手机应用。本文给出了该轻量级模型与其他重型模型之间的性能比较。代码、数据和模型在 github 上公开可用。
引用
@article{arxiv.2205.02141,
title = {RecipeSnap -- a lightweight image-to-recipe model},
author = {Jianfa Chen and Yue Yin and Yifan Xu},
journal= {arXiv preprint arXiv:2205.02141},
year = {2022}
}
备注
7 pages, 3 figures