基于单目图像形状重建的端到端食物分量估计框架
计算机视觉与模式识别
2023-08-04 v1
摘要
膳食评估是监测健康状况的重要因素。现有的自我报告方法繁琐耗时，且存在显著偏差与误差。基于图像的食物分量估计旨在直接从食物图像估计食物能量值，在自动化膳食评估方案中展现出巨大潜力。现有的基于图像的方法要么使用单视图图像，要么结合多视图图像与深度信息来估计食物能量，前者性能有限，后者给用户带来负担。本文中，我们提出了一种通过三维形状重建从单目图像进行食物能量估计的端到端深度学习框架。我们利用生成模型从输入图像重建食物对象的体素表示，以恢复缺失的三维信息。我们的方法在一个公开可用的食物图像数据集Nutrition5k上进行了评估，食物能量估计的平均绝对误差（MAE）为40.05 kCal，平均绝对百分比误差（MAPE）为11.47%。我们的方法在推理阶段仅以RGB图像作为输入，并与需要RGB和深度信息两者的现有方法取得了具有竞争力的结果。
引用
@article{arxiv.2308.01810,
title = {An End-to-end Food Portion Estimation Framework Based on Shape Reconstruction from Monocular Image},
author = {Zeman Shao and Gautham Vinod and Jiangpeng He and Fengqing Zhu},
journal= {arXiv preprint arXiv:2308.01810},
year = {2023}
}