基于零样本分割任意模型将弱标注转化为像素级标注用于分子赋能学习
图像与视频处理
2023-08-14 v1 计算机视觉与模式识别
摘要
在高分辨率吉像素全切片成像(WSI)中精确识别多种细胞类别对各种临床场景至关重要。为此构建AI模型通常需要像素级标注，这类标注往往难以规模化且必须由熟练的领域专家(如病理学家)完成。然而，这些标注容易出错，尤其是在仅通过视觉检查区分复杂细胞类型(如足细胞与系膜细胞)时。有趣的是，最近一项研究表明，非专业标注者在借助额外免疫荧光(IF)图像作为参考(称为分子赋能学习)时，其标注效果有时可超越领域专家。尽管如此，在标注过程中人工勾画这一资源密集型工作仍是必需的。本文中，我们探索了在零样本学习框架下，通过对弱框标注应用近期的分割任意模型(SAM)来规避像素级勾画的潜力。具体而言，我们利用SAM从框标注生成像素级标注的能力，并使用这些SAM生成的标签来训练分割模型。我们的结果表明，所提出的SAM辅助分子赋能学习(SAM-L)仅需弱框标注即可减少非专业标注者的标注工作量，且不会损害标注准确性或基于深度学习的分割性能。该研究代表了在仅依赖非专家标注者训练病理图像分割标注过程中的一项重要进展。
引用
@article{arxiv.2308.05785,
title = {Leverage Weakly Annotation to Pixel-wise Annotation via Zero-shot Segment Anything Model for Molecular-empowered Learning},
author = {Xueyuan Li and Ruining Deng and Yucheng Tang and Shunxing Bao and Haichun Yang and Yuankai Huo},
journal= {arXiv preprint arXiv:2308.05785},
year = {2023}
}