VolETA：一种一射和少射食物体积估计方法
计算机视觉与模式识别
2024-07-03 v1
摘要
准确的食物体积估计对于饮食评估、营养跟踪和份量控制应用至关重要。我们提出了 VolETA 方法，用于基于 3D 生成技术估计食物体积。该方法使用一个或多个 RGBD 图像创建食物对象的比例 3D 网格。我们首先根据 RGB 图像选择关键帧，然后使用 XMem++ 对参考对象进行分割。同时估计并细化相机位置使用 PixSfM 技术。将分割后的食物图像、参考对象和相机姿态组合成适用于 NeuS2 的数据模型。对参考对象和食物对象进行独立的网格重建，基于参考对象确定比例因子。此外，使用深度信息细化比例因子通过估计潜在体积范围。将细化后的比例因子应用于清理后的食物网格以获得准确的体积测量。类似地，我们将分割后的 RGB 图像输入 One-2-3-45 模型进行一次性食物体积估计，生成网格。我们利用所获得的比例因子应用于清理后的食物网格以获得准确的体积测量。我们的实验表明，我们的方法有效地解决了遮挡、变化的照明条件和复杂的食物几何形状问题，实现了稳健且准确的体积估计，使用 MTF 数据集实现 10.97% 的平均绝对百分比误差 (MAPE)。这种创新方法提高了体积评估的精度，并在计算营养和饮食监控方面作出了显著贡献。
引用
@article{arxiv.2407.01717,
title = {VolETA: One- and Few-shot Food Volume Estimation},
author = {Ahmad AlMughrabi and Umair Haroon and Ricardo Marques and Petia Radeva},
journal= {arXiv preprint arXiv:2407.01717},
year = {2024}
}