SalientFusion：面向组合零样本食物识别的上下文感知方法
计算机视觉与模式识别
2025-09-05 v1 人工智能
摘要
食物识别已引起广泛关注，但新菜品的快速涌现需要具备识别未见食物类别的能力，这推动了零样本食物学习（Zero-Shot Food Learning, ZSFL）的兴趣。我们提出了组合零样本食物识别（Compositional Zero-Shot Food Recognition, CZSFR）的任务，认为菜系与食材在组合零样本学习（CZSL）中自然对应于属性与对象。然而，CZSFR面临三个挑战：（1）冗余背景信息干扰模型学习有意义的食物特征；（2）主菜与配菜之间的角色混淆导致误分类；（3）单一属性语义偏差可能引发误解。因此，我们提出了 SalientFusion，一种具备上下文感知的 CZSFR 方法，包含两个组件：SalientFormer 用于消除背景冗余并利用深度特征解决角色混淆；DebiasAT 通过对齐提示与视觉特征来减少语义偏差。使用我们提出的基准数据集（CZSFood-90 和 CZSFood-164），实验表明 SalientFusion 在这些基准以及最流行的通用 CZSL 数据集上均实现了最先进的性能。代码可在 https://github.com/Jiajun-RUC/SalientFusion 查阅。
引用
@article{arxiv.2509.03873,
title = {SalientFusion: Context-Aware Compositional Zero-Shot Food Recognition},
author = {Jiajun Song and Xiaoou Liu},
journal= {arXiv preprint arXiv:2509.03873},
year = {2025}
}
备注
34th International Conference on Artificial Neural Networks - ICANN 2025