Memory-SAM：基于检索-生成的无人类提示舌头分割
计算机视觉与模式识别
2026-05-15 v2
摘要
准确的舌头分割对于可靠的中医学分析至关重要。监督式模型需要大量标注数据集，而 SAM 系列模型仍然依赖人工提示。我们提出 Memory-SAM，一个训练免费、无人类提示的管道，通过密集 DINOv3 特征和 FAISS 检索自动从小型先例集合中生成有效提示。给定查询图像后，mask 约束的先例间对应关系被提炼为前景/背景点提示，用于引导 SAM2，无需人工点击或模型微调。我们在 600 幅专家标注图像（300 幅受控图像，300 幅野外图像）上进行评估。在混合测试子集上，Memory-SAM 实现了 mIoU 0.9863，超越 FCN (0.8188) 和一种检测到框的 SAM 基线 (0.1839)。在受控数据上，由于标注变异性，0.98 以上的天花板效应使得细微差异难以察觉，而我们的方法在现实世界条件下显示出明显提升。结果表明，检索-生成机制使舌部成像中不规则边界的数据高效、稳健的分割成为可能。代码已公开于 https://github.com/jw-chae/memory-sam。
引用
@article{arxiv.2510.15849,
title = {Memory-SAM: Human-Prompt-Free Tongue Segmentation via Retrieval-to-Prompt},
author = {Joongwon Chae and Lihui Luo and Xi Yuan and Dongmei Yu and Zhenglin Chen and Lian Zhang and Peiwu Qin},
journal= {arXiv preprint arXiv:2510.15849},
year = {2026}
}