OmniFood8K：基于层次化频率对齐融合的单图营养估计
计算机视觉与模式识别
2026-04-15 v1
摘要
准确估计食物营养成分对于推动健康饮食习惯和个性化饮食管理具有至关重要作用。目前大多数食物数据集主要聚焦于西餐，缺乏对中国菜的充分覆盖，限制了对中国餐饮的准确营养估计。此外，许多最先进的营养预测方法依赖深度传感器，限制了其在日常场景中的应用。为此，我们引入 OmniFood8K，一个包含 8,036 个食物样本的综合性多模态数据集，每个样本都包含详细的营养标注和多视角图像。此外，我们构建 NutritionSynth-115K，一个大规模合成数据集，通过保持精确营养标签的同时引入组成变异。我们提出一个端到端的框架，用于从单张 RGB 图像进行营养预测。首先，我们从单张 RGB 图像预测深度图，并设计比例-偏移残差适配器（SSRA）进行全局尺度一致性和局部结构保持的细化。其次，我们提出频率对齐融合模块（FAFM），在频率域中进行层次化对齐和融合 RGB 与深度特征。最后，我们设计基于掩码的预测头（MPH），通过动态通道选择强调关键食材区域，以实现更准确的预测。多个数据集上的大量实验表明，我们的方法在多个数据集上优于现有方法。项目主页：https://yudongjian.github.io/OmniFood8K-food/。
引用
@article{arxiv.2604.12356,
title = {OmniFood8K: Single-Image Nutrition Estimation via Hierarchical Frequency-Aligned Fusion},
author = {Dongjian Yu and Weiqing Min and Qian Jiang and Xing Lin and Xin Jin and Shuqiang Jiang},
journal= {arXiv preprint arXiv:2604.12356},
year = {2026}
}
备注
Accepted by CVPR 2026 (Highlight Paper)