SeeDS：用于零样本食物检测的语义可分离扩散合成器
计算机视觉与模式识别
2023-10-10 v1
摘要
食物检测正成为食物计算中的一项基础任务，支撑包括食物推荐和饮食监测在内的各种多媒体应用。为应对真实场景，食物检测需要定位并识别训练期间未见过的新颖食物对象，这要求零样本检测（ZSD）。然而，语义属性的复杂性和类内特征多样性对 ZSD 方法区分细粒度食物类别提出了挑战。为此，我们提出用于零样本食物检测（ZSFD）的语义可分离扩散合成器（SeeDS）框架。SeeDS 由两个模块组成：语义可分离合成模块（SM）和区域特征去噪扩散模型（RFDDM）。SM 从食材和菜系中学习复杂食物属性的解耦语义表示，并通过增强的语义信息合成具有判别力的食物特征。RFDDM 利用一种新颖的扩散模型生成多样化区域特征，并通过细粒度合成特征增强 ZSFD。大量实验在两个食物数据集 ZSFooD 和 UECFOOD-256 上展示了我们提出的方法的最先进 ZSFD 性能。此外，SeeDS 在通用 ZSD 数据集 PASCAL VOC 和 MS COCO 上也保持有效性。代码和数据集可在 https://github.com/LanceZPF/SeeDS 找到。
引用
@article{arxiv.2310.04689,
title = {SeeDS: Semantic Separable Diffusion Synthesizer for Zero-shot Food Detection},
author = {Pengfei Zhou and Weiqing Min and Yang Zhang and Jiajun Song and Ying Jin and Shuqiang Jiang},
journal= {arXiv preprint arXiv:2310.04689},
year = {2023}
}
备注
Accepted by ACM Multimedia 2023