基于图像的卡路里感知自动餐包生成
计算机视觉与模式识别
2021-12-21 v1 人工智能
摘要
近年来，卡路里与营养研究受到越来越多的关注。但由于问题复杂，该领域的文献多聚焦于有限的食材子集或菜品类型，并采用简单的卷积神经网络或传统机器学习方法。同时，对食材分量的估计有助于改进给定图像的卡路里估计与餐食复现。本文针对单张烹饪图像，提出了一种用于不同份量餐食的卡路里估计与餐食复现流程。该流程包含两个阶段。第一阶段，预测给定图像中与该餐食相关的一组食材。第二阶段，基于图像特征与食材，使用基于深度 transformer 的模型同时估计食材分量并最终得到餐食总卡路里。模型中引入的分量估计有助于改进卡路里估计，并有利于不同份量下的餐食复现。为展示该流程的益处，模型可用于餐包生成。为评估该流程，使用了大规模数据集 Recipe1M。在实验前，对 Recipe1M 数据集进行解析并显式标注了食材分量。实验表明，使用食材及其分量显著改善了卡路里估计。此外，还创建了一个可视化界面，用户可与之交互以获得准确的卡路里估计并生成用于烹饪的餐包。
引用
@article{arxiv.2112.09839,
title = {Calorie Aware Automatic Meal Kit Generation from an Image},
author = {Ahmad Babaeian Jelodar and Yu Sun},
journal= {arXiv preprint arXiv:2112.09839},
year = {2021}
}