TongueSAM：基于SAM的零样本通用舌体分割模型
计算机视觉与模式识别
2023-12-07 v3
摘要
舌体分割是自动化中医舌诊的首要步骤，对诊断结果起着重要作用。当前，众多基于深度学习的方法已取得可观效果。然而，当面对与训练集不同或背景复杂的舌图像时，这些方法表现有限。为解决此问题，本文提出一种名为TongueSAM的通用舌体分割模型，其基于SAM（Segment Anything Model，分割一切模型）。SAM是一种大规模预训练交互式分割模型，以强大的零样本泛化能力著称。将SAM应用于舌体分割可利用其从自然图像中学到的先验知识，实现对各类舌图像的零样本分割。本研究将基于目标检测的提示生成器（Prompt Generator）集成到SAM中，以实现端到端的自动化舌体分割方法。实验表明，TongueSAM在多个舌体分割数据集上均取得优异性能，尤其在零样本条件下。即使在复杂背景舌图像上，TongueSAM在零样本条件下也达到了95.23%的mIoU，超越其他分割方法。据我们所知，这是大规模预训练模型在舌体分割中的首次应用。本文提及的项目目前已公开可用。
引用
@article{arxiv.2308.06444,
title = {TongueSAM: An Universal Tongue Segmentation Model Based on SAM with Zero-Shot},
author = {Shan Cao and Qunsheng Ruan and Linjian Ma},
journal= {arXiv preprint arXiv:2308.06444},
year = {2023}
}