FoodSAM：任意食物分割
计算机视觉与模式识别
2023-11-10 v1 人工智能
摘要
本文探讨了 Segment Anything Model (SAM) 在食物图像分割中的零样本能力。为解决 SAM 生成掩码中缺乏类特定信息的问题，我们提出一种称为 FoodSAM 的新框架。该创新方法将粗语义掩码与 SAM 生成的掩码集成以提升语义分割质量。此外，我们认识到食物中的食材可被视为独立个体，这促使我们对食物图像执行实例分割。进一步地，FoodSAM 通过引入目标检测器将其零样本能力扩展至全景分割，使 FoodSAM 能有效捕获非食物对象信息。受近期可提示分割成功的启发，我们还将 FoodSAM 扩展至可提示分割，支持多种提示变体。因此，FoodSAM 成为一种能够在多粒度层级分割食物项目的全面解决方案。值得注意的是，这一开创性框架是首个在食物图像上实现实例、全景与可提示分割的工作。大量实验证明了 FoodSAM 的可行性与令人印象深刻的性能，验证了 SAM 作为食物图像分割领域中重要且有影响力工具的潜力。我们的代码发布于 https://github.com/jamesjg/FoodSAM。
引用
@article{arxiv.2308.05938,
title = {FoodSAM: Any Food Segmentation},
author = {Xing Lan and Jiayi Lyu and Hanyu Jiang and Kun Dong and Zehai Niu and Yi Zhang and Jian Xue},
journal= {arXiv preprint arXiv:2308.05938},
year = {2023}
}
备注
Code is available at https://github.com/jamesjg/FoodSAM