合成知识增强特征用于真实世界零样本食物检测

食品计算为计算机视觉带来了多种视角，例如基于视觉的食品分析用于营养与健康。作为食品计算中的一项基础任务，食品检测需要对未见过的食品对象进行零样本检测（ZSD），以支持智能厨房和智能餐厅等真实场景。因此，我们首先通过引入带有丰富属性标注的FOWA数据集，对零样本食品检测（ZSFD）任务进行基准测试。与ZSD不同，ZSFD中的细粒度问题（如类间相似性）使得合成特征不可分。食品语义属性的复杂性进一步使得现有ZSD方法难以区分各种食品类别。为解决这些问题，我们提出一个新颖框架ZSFDet，通过利用复杂属性之间的交互来处理细粒度问题。具体而言，我们在ZSFDet中通过多源图建模食品类别与属性之间的相关性，为区分细粒度特征提供先验知识。在ZSFDet中，知识增强特征合成器（KEFS）通过多源图融合从多个来源（例如知识图谱中的成分相关性）学习知识表示。基于语义知识表示的融合，KEFS中的区域特征扩散模型可以生成细粒度特征，用于训练有效的零样本检测器。大量评估表明，我们的方法ZSFDet在FOWA和广泛使用的食品数据集UECFOOD-256上取得了优越性能，与强基线RRFS相比，ZSD mAP分别显著提升了1.8%和3.7%。在PASCAL VOC和MS COCO上的进一步实验证明，语义知识的增强也能提升通用ZSD的性能。代码和数据集可在https://github.com/LanceZPF/KEFS获取。