MFP3D：利用三维点云的单目食物分量估计
计算机视觉与模式识别
2026-03-03 v2 图像与视频处理
摘要
食物分量估计对于健康监测和膳食摄入追踪至关重要。基于图像的膳食评估涉及利用计算机视觉技术分析进食场景图像，正逐渐取代 24 小时回顾法等传统方法。然而，由于将三维信息投影到二维图像平面时丢失了深度信息，从图像中准确估计营养成分仍具挑战性。现有分量估计方法因依赖特定要求（如物理参考物体、高质量深度信息或多视角图像和视频），难以在真实场景中部署。本文提出 MFP3D，一种仅使用单张单目图像即可实现准确食物分量估计的新框架。具体而言，MFP3D 包含三个关键模块：（1）三维重建模块，从二维图像生成食物的三维点云表示；（2）特征提取模块，提取并拼接来自三维点云和二维 RGB 图像的特征；（3）分量回归模块，采用深度回归模型基于提取的特征估计食物的体积和能量含量。我们在 MetaFood3D 数据集上评估了 MFP3D，结果显示其在准确分量估计方面较现有方法有显著提升。
引用
@article{arxiv.2411.10492,
title = {MFP3D: Monocular Food Portion Estimation Leveraging 3D Point Clouds},
author = {Jinge Ma and Xiaoyan Zhang and Gautham Vinod and Siddeshwar Raghavan and Jiangpeng He and Fengqing Zhu},
journal= {arXiv preprint arXiv:2411.10492},
year = {2026}
}
备注
9th International Workshop on Multimedia Assisted Dietary Management, in conjunction with the 27th International Conference on Pattern Recognition (ICPR2024)