利用图像说明实现选择性全切片图像标注
计算机视觉与模式识别
2024-07-10 v1
摘要
全切片图像（WSI）基于深度学习任务的标注（如组织分割掩码或检出血小板）工作量大且需大量手动标注。本文聚焦于在有限标注预算下识别并标注特定图像区域，以优化模型训练。随机抽样可通过在 WSIs 中各处收集标注区域捕获数据变异，但数据 curated 不足可能导致少数类代表性不足。近期研究提出多样性抽样选取能充分代表 WSIs 独特特征的区域集合，通过在无标签数据上进行自监督学习预训练，然后在潜空间中聚类所有区域。然而，确定最优聚类数困难且并非所有聚类均与任务相关。本文提出原型抽样方法，用于标注区域选择。其发现展现特定任务类别典型特征的区域。过程包括从大规模组织病理图像说明数据库中识别类别原型，并检测与这些原型相似的无标签图像区域。我们的结果表明，原型抽样在识别具有价值训练信息的标注区域方面优于随机抽样与多样性抽样，在语义分割与血小板检测任务中实现模型性能提升。代码已公开于 https://github.com/DeepMicroscopy/Prototype-sampling。
引用
@article{arxiv.2407.06363,
title = {Leveraging image captions for selective whole slide image annotation},
author = {Jingna Qiu and Marc Aubreville and Frauke Wilm and Mathias Öttl and Jonas Utz and Maja Schlereth and Katharina Breininger},
journal= {arXiv preprint arXiv:2407.06363},
year = {2024}
}