SFOOD：基于光谱数据的超越 RGB 的综合食物属性分析多模态基准
计算机视觉与模式识别
2025-07-08 v1
摘要
随着计算机视觉和大语言模型 (LLM) 的发展，智能化无处不在，尤其在人和汽车方面。然而，对于诸如原产地、数量、重量、品质、甜度等庞大食物属性，现有研究仍主要关注类别研究。这源于缺乏大型且全面的食物基准数据集。此外，许多食物属性（如甜度、重量和细粒度类别）仅能通过 RGB 相机准确感知。为填补这一空白并推动智能食物分析发展，本文构建了第一个大型光谱食物 (SFOOD) 基准套件。我们投入大量人力和设备成本，对现有食物数据集进行组织整合，并收集数百种食物的高光谱图像，使用仪器实验测定甜度和重量等食物属性。最终的基准包含 3,266 个食物类别和 2,351 个数据点，覆盖 17 个主要食物类别。广泛的评估发现：(i) 大型模型在数字化食物方面仍表现不佳。相较于人和汽车，食物逐渐成为研究中最困难的对象之一；(ii) 光谱数据对分析食物性质（如甜度）至关重要。该基准将开源持续迭代，以支持不同食物分析任务。
引用
@article{arxiv.2507.04412,
title = {SFOOD: A Multimodal Benchmark for Comprehensive Food Attribute Analysis Beyond RGB with Spectral Insights},
author = {Zhenbo Xu and Jinghan Yang and Gong Huang and Jiqing Feng and Liu Liu and Ruihan Sun and Ajin Meng and Zhuo Zhang and Zhaofeng He},
journal= {arXiv preprint arXiv:2507.04412},
year = {2025}
}