MetaFood3D：带营养价值的 3D 食物数据集
计算机视觉与模式识别
2024-12-10 v2
摘要
食物计算在计算机视觉(CV)中既重要又具有挑战性。它显著推动了来自各类应用的 datasets 中算法开发，涵盖从分类和实例分割到 3D 重建等领域。食物的多态形状和纹理，以及形式的高变异性和巨大的多模态信息(包括语言描述和营养数据)，使食物计算成为现代 CV 算法面临的复杂且苛刻的任务。3D 食物建模是解决食物相关问题的新前沿，由于其固有的能力来处理随机摄像视角以及计算食物份额的直观表示。然而，开发食物对象分析算法的首要障碍是现有 3D 数据集中缺乏营养价值。此外，在更广泛的 3D 研究领域，迫切需要特定于领域的测试数据集。为弥合一般 3D 视觉与食物计算研究之间的差距，我们引入了 MetaFood3D。该数据集包含 743 个仔细扫描和标记的 3D 食物对象，涵盖 131 个类别，配有详细的营养信息、重量和食物代码，链接到综合性营养数据库。我们的 MetaFood3D 数据集强调类别内的多样性，并包含丰富的模态，如带纹理的网格文件、RGB-D 视频和分割掩码。实验结果表明，我们的数据集在增强食物份额估计算法方面具有强大的能力，揭示了视频捕获与 3D 扫描数据之间的差距，展示了 MetaFood3D 在生成合成用餐情境数据和 3D 食物对象的方面优势。
引用
@article{arxiv.2409.01966,
title = {MetaFood3D: 3D Food Dataset with Nutrition Values},
author = {Yuhao Chen and Jiangpeng He and Gautham Vinod and Siddeshwar Raghavan and Chris Czarnecki and Jinge Ma and Talha Ibn Mahmud and Bruce Coburn and Dayou Mao and Saeejith Nair and Pengcheng Xi and Alexander Wong and Edward Delp and Fengqing Zhu},
journal= {arXiv preprint arXiv:2409.01966},
year = {2024}
}
备注
The dataset is available at https://lorenz.ecn.purdue.edu/~food3d/