基于大型基础模型的子宫颈细胞学全切片图像筛查高效框架
计算机视觉与模式识别
2024-07-17 v1
摘要
当前子宫颈细胞学全切片图像（WSI）筛查主要依赖基于检测的方法，这些方法受限于高成本和耗时的标注过程。多实例学习（MIL）是一种仅依赖包级别标签的弱监督方法，可有效缓解这些挑战。然而，MIL 通常采用冻结的预训练模型或自监督学习进行特征提取，存在效果低或效率低的问题。本文提出一种基于无监督和弱监督学习的子宫颈细胞学 WSI 分类高效框架。鉴于异常细胞在细胞学 WSIs 中稀疏且分布广泛，我们提出一种策略，利用预训练的基础模型筛选出 top 高风险 patches。随后，我们建议使用对比学习对筛选后的 patches 对大型基础模型进行参数高效微调（PEFT），以增强其对任务特定信号的表示能力。仅训练添加的线性适配器，我们大幅度减少了时间和内存消耗，同时增强了 patch 级别特征的学习。在 CSD 和 FNAC 2019 数据集上的实验表明，所提出的方法提高了各种 MIL 方法的性能，并实现了最先进（SOTA）的性能。代码和训练好的模型已公开available at https://github.com/CVIU-CSU/TCT-InfoNCE。
引用
@article{arxiv.2407.11486,
title = {An efficient framework based on large foundation model for cervical cytopathology whole slide image screening},
author = {Jialong Huang and Gaojie Li and Shichao Kan and Jianfeng Liu and Yixiong Liang},
journal= {arXiv preprint arXiv:2407.11486},
year = {2024}
}