尺寸至关重要：从单目图像重建真实尺度的3D模型用于食物份量估计
计算机视觉与模式识别
2026-01-29 v1 人工智能
机器学习
多媒体
摘要
与饮食相关的慢性疾病（如肥胖和糖尿病）的增多，凸显了准确监测食物摄入量的必要性。尽管近年来人工智能驱动的膳食评估取得了进展，但从单目图像中恢复尺寸（份量）信息以准确估计“你吃了多少？”这一不适定问题，仍然是一个紧迫的挑战。一些3D重建方法实现了令人印象深刻的几何重建，但未能恢复重建对象的关键真实世界尺度，限制了其在精准营养中的应用。在本文中，我们通过提出一种从单目图像恢复真实尺度3D重建对象的方法，弥合了3D计算机视觉与数字健康之间的差距。我们的方法利用从大规模数据集训练的模型中提取的丰富视觉特征来估计重建对象的尺度。这种学习到的尺度使我们能够将单视图3D重建转换为逼真的、具有物理意义的模型。在两个公开数据集上进行的大量实验和消融研究表明，我们的方法持续优于现有技术，平均绝对体积估计误差降低了近30%，展示了其增强精准营养领域的潜力。代码：https://gitlab.com/viper-purdue/size-matters
引用
@article{arxiv.2601.20051,
title = {Size Matters: Reconstructing Real-Scale 3D Models from Monocular Images for Food Portion Estimation},
author = {Gautham Vinod and Bruce Coburn and Siddeshwar Raghavan and Jiangpeng He and Fengqing Zhu},
journal= {arXiv preprint arXiv:2601.20051},
year = {2026}
}