NutritionVerse：多种膳食摄入估计方法的实证研究
计算机视觉与模式识别
2024-09-04 v2 人工智能
摘要
准确的膳食摄入估计对于制定支持健康饮食的政策与项目至关重要，因为营养不良已被直接关联到生活质量的下降。然而，食物日记等自我报告方法存在显著偏差。其他传统膳食评估技术以及移动应用等新兴替代方法耗时高昂，并可能需要训练有素的人员。近期工作聚焦于利用计算机视觉与机器学习从食物图像自动估计膳食摄入，但缺乏具有多样视角、模态和食物标注的综合数据集，阻碍了此类方法的准确性与真实性。为应对这一局限，我们引入 NutritionVerse-Synth，这是首个包含 84,984 张照片级真实感合成 2D 食物图像的大规模数据集，附有膳食信息与多模态标注（包括深度图像、实例掩码和语义掩码）。此外，我们收集了一个真实图像数据集 NutritionVerse-Real，包含 251 道菜的 889 张图像以评估真实性。利用这些新数据集，我们开发并基准测试了 NutritionVerse，一项涵盖多种膳食摄入估计方法（包括基于间接分割与直接预测网络）的实证研究。我们进一步用真实图像微调在合成数据上预训练的模型，以提供关于合成与真实数据融合的见解。最后，我们将两个数据集（NutritionVerse-Synth、NutritionVerse-Real）发布于 https://www.kaggle.com/nutritionverse/datasets，作为加速面向膳食感知的机器学习开放倡议的一部分。
引用
@article{arxiv.2309.07704,
title = {NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches},
author = {Chi-en Amy Tai and Matthew Keller and Saeejith Nair and Yuhao Chen and Yifan Wu and Olivia Markham and Krish Parmar and Pengcheng Xi and Heather Keller and Sharon Kirkpatrick and Alexander Wong},
journal= {arXiv preprint arXiv:2309.07704},
year = {2024}
}
备注
Corrections made to Tables 6, 7, and 8, and corrections made to Experiments Part C. Additional clarification made in Section 4