基于 VLM 的提示词是无配对组织病理虚拟染色的最佳助手
图像与视频处理
2025-04-23 v1 计算机视觉与模式识别
摘要
在组织病理学中，组织切片通常使用常规 H&E 染色或特殊染色（如 MAS、PAS、PASM 等）来清晰显示特定组织结构。深度学习的快速发展为生成虚拟染色图像提供了有效解决方案，显著减少了传统组织化学染色的时间和劳动成本。然而，一个新挑战在于分离组织切片的基本视觉特征与由染色剂引起的视觉差异。此外，虚拟染色常忽视病理知识和染色的物理属性，仅实现风格级的转换。为解决这些问题，我们首次在虚拟染色任务中引入病理视觉语言大模型（VLM）作为辅助工具。我们整合了对比学习可学习提示词、组织切片的基础概念锚点以及染色特定概念锚点，以利用广泛的病理 VLM 知识。该方法旨在描述、框定和增强虚拟染色的方向。此外，我们开发了基于 VLM 约束的数据增强方法。该方法利用 VLM 的强大图像解释能力进一步集成图像风格和结构信息，在高精度病理诊断方面证明有益。在公开的多域无配对染色数据集上进行了广泛评估，结果表明我们的方法能够生成高度逼真的图像，并提高下游任务（如肾小球检测和分割）的准确性。我们的代码已公开：https://github.com/CZZZZZZZZZZZZZZZZZ/VPGAN-HARBOR
引用
@article{arxiv.2504.15545,
title = {VLM-based Prompts as the Optimal Assistant for Unpaired Histopathology Virtual Staining},
author = {Zizhi Chen and Xinyu Zhang and Minghao Han and Yizhou Liu and Ziyun Qian and Weifeng Zhang and Xukun Zhang and Jingwei Wei and Lihua Zhang},
journal= {arXiv preprint arXiv:2504.15545},
year = {2025}
}