一种端到端食物图像分析系统
计算机视觉与模式识别
2021-02-02 v1
摘要
现代深度学习技术推动了基于图像的饮食评估（如食物识别与食物份量估计）的发展。关于食物种类与摄入量的宝贵信息对预防许多慢性疾病至关重要。然而，现有的自动化基于图像的食物分析方法既非端到端，也无法同时处理多任务（如识别与份量估计），难以应用于实际场景。本文提出一种基于图像的食物分析框架，集成了食物定位、分类与份量估计。我们提出的框架是端到端的，即输入可为包含多种食物物品的任意食物图像，系统可定位每个单独食物物品并给出其对应的预测食物类型与份量。我们还通过结合定位结果与由条件GAN获得的食物能量分布图生成四通道RGB-分布图像，改进了单食物份量估计。我们的端到端框架在一项营养喂养研究中收集的真实生活食物图像数据集上进行了评估。
引用
@article{arxiv.2102.00645,
title = {An End-to-End Food Image Analysis System},
author = {Jiangpeng He and Runyu Mao and Zeman Shao and Janine L. Wright and Deborah A. Kerr and Carol J. Boushey and Fengqing Zhu},
journal= {arXiv preprint arXiv:2102.00645},
year = {2021}
}