多阶段分层食物分类

食物图像分类是基于图像的饮食评估中基础且关键的一步，有助于从所拍摄的食物图像中分析营养摄入。然而，现有食物分类工作主要聚焦于预测“食物类别”，其并不直接包含营养成分信息。这一局限源于营养数据库固有的差异——营养数据库需将每个“食物条目”与其相应信息关联。因此，本文旨在对食物条目进行分类以与营养数据库对齐。为此，我们首先通过对 VFN 中每张食物图像标注包含营养成分信息的食物条目，构建了 VFN-nutrient 数据集。此类食物条目标注比食物类别更具区分性，在数据集内形成了分层结构。然而，由于食物条目标注仅基于营养成分信息，彼此间并不总呈现视觉关联，这给应用基于深度学习的分类技术带来了显著挑战。为解决该问题，我们进而提出一种多阶段分层框架，通过在训练过程中迭代聚类与合并食物条目来实现食物条目分类，使深度模型能够提取跨标签具区分性的图像特征。我们的方法在 VFN-nutrient 数据集上进行了评估，在食物类别与食物条目分类上均相较现有工作取得了有前景的结果。