基于 SAM 的半自动食物标注工具

人工智能（AI）在食品和营养研究中的进展受到一个关键瓶颈的阻碍：缺乏标注的食物数据。尽管出现了专为食物分割和分类等任务设计的高效 AI 模型，但其实际应用可能需要精通 AI 和机器学习原理，这对营养科学领域的非 AI 专家构成了挑战。这也突出了将 AI 模型转化为所有人都能使用的用户友好工具的需求。为了解决这个问题，我们展示了一个利用 Segment Anything Model (SAM) 的半自动食物图像标注工具的演示。该工具通过用户交互实现基于提示的食物分割，促进用户参与，并允许他们在膳食图像中进一步对食物项目进行分类，并在必要时指定重量/体积。此外，我们发布了 SAM 掩码解码器的微调版本，称为 MealSAM，其 ViT-B 主干专门针对食物图像分割进行了定制。我们的目标不仅是通过鼓励参与、协作和收集更多标注食物数据来为该领域做出贡献，而且还要通过将 AI 转化为实用工具，使 AI 技术面向更广泛的受众。