基于营养信息增强的新型大规模食谱数据集的多任务学习热量预测
计算机视觉与模式识别
2020-11-03 v1
摘要
网络上发布的诸如食物食谱等内容快速增长，为视觉与语言交叉领域的新颖应用打开了大门。本工作中，我们旨在直接从图像估计一餐的热量，通过学习人们在互联网上发布的食谱来跳过耗时的手动数据标注。由于在无约束环境中捕获的大规模公开数据集很少，我们提出了pic2kcal基准，包含来自超过70,000个食谱的308,000张图像，含照片、食材和说明。为获取食材的营养信息并自动确定真实热量值，我们将食谱中的条目与来自食物条目数据库的结构化信息匹配。我们评估了多种用于热量回归的神经网络，并用多任务范式扩展它们。我们的学习过程将热量估计与蛋白质、碳水化合物和脂肪量预测以及多标签食材分类相结合。实验表明多任务学习对热量估计有明显益处，超越单任务热量回归9.9%。为鼓励该任务的进一步研究，我们公开了生成数据集和模型的代码。
引用
@article{arxiv.2011.01082,
title = {Multi-Task Learning for Calorie Prediction on a Novel Large-Scale Recipe Dataset Enriched with Nutritional Information},
author = {Robin Ruede and Verena Heusser and Lukas Frank and Alina Roitberg and Monica Haurilet and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2011.01082},
year = {2020}
}
备注
Accepted to ICPR 2020