PathCLIP在病理图像分析中的基准测试
计算机视觉与模式识别
2024-06-13 v3
摘要
准确的图像分类和检索对于临床诊断和治疗决策至关重要。最近的对比语言-图像预训练（CLIP）模型在理解自然图像方面表现出色。受CLIP启发，PathCLIP专门设计用于病理图像分析，在训练中使用了超过20万对图像和文本。尽管PathCLIP的性能令人印象深刻，但其在多种图像损坏下的鲁棒性仍然未知。因此，我们对来自骨肉瘤和WSSS4LUAD数据集的各类损坏图像进行了广泛评估，以分析PathCLIP的性能。实验中，我们引入了七种损坏类型，包括亮度、对比度、高斯模糊、分辨率、饱和度、色调和标记，每种损坏有四个严重级别。通过实验，我们发现PathCLIP对图像损坏相对鲁棒，并且在零样本分类中优于OpenAI-CLIP和PLIP。在七种损坏中，模糊和分辨率会导致PathCLIP性能严重下降。这表明在临床测试前确保图像质量至关重要。此外，我们评估了PathCLIP在图像-图像检索任务中的鲁棒性，发现PathCLIP在骨肉瘤数据集上的表现不如PLIP，但在WSSS4LUAD数据集上在各种损坏下表现更好。总体而言，PathCLIP在病理图像的零样本分类和检索中表现出色，但使用时需要适当注意。我们希望这项研究能提供对PathCLIP的定性印象，并帮助理解其与其他CLIP模型的差异。
引用
@article{arxiv.2401.02651,
title = {Benchmarking PathCLIP for Pathology Image Analysis},
author = {Sunyi Zheng and Xiaonan Cui and Yuxuan Sun and Jingxiong Li and Honglin Li and Yunlong Zhang and Pingyi Chen and Xueping Jing and Zhaoxiang Ye and Lin Yang},
journal= {arXiv preprint arXiv:2401.02651},
year = {2024}
}