检测病理视觉语言模型在数据漂移下的性能退化

视觉语言模型在医学图像分析和疾病诊断方面展现出强大的潜力。然而，在部署后，当输入数据分布与开发期观察到的分布不同时，其性能可能恶化。检测此类性能退化对于临床可靠性至关重要，但针对在无标签数据上运行的大规模预训练视觉语言模型仍具有挑战性。本研究针对病理学视觉语言模型中的数据漂移下的数据性能退化问题进行调查。我们考察了输入层数据漂移和输出层预测行为在监控模型可靠性中的各自作用。为系统性地分析输入数据漂移，我们开发了DomainSAT——一个集成了代表性漂移检测算法并具备图形界面的轻量级工具箱。我们的分析表明，虽然输入数据漂移检测在识别分布式变化和提供早期诊断信号方面有效，但其并不总是对应于实际的性能退化。针对这一观察结果，我们进一步研究基于输出的监控方法，提出一种无标签且基于置信度的退化指示器，直接捕捉模型预测置信度的变化。我们发现，该指示器与性能退化呈现密切关系，能作为输入漂移检测的有效补充。在大型病理数据集上进行的肿瘤分类实验表明，结合输入数据漂移检测与输出置信度指示器，可更可靠地检测和解释视觉语言模型在数据漂移下的性能退化。这些发现为数字病理学中的基础模型可靠性监控提供了实用且互补的框架。