基于预训练模型的 FF 至 FFPE 组织切片图像翻译
图像与视频处理
2024-11-14 v3 计算机视觉与模式识别
摘要
组织病理学中两种主要的 Hematoxylin and Eosin (H&E) 切片类型分别是 Formalin-Fixed Paraffin-Embedded (FFPE) 和 Fresh Frozen (FF)。FFPE 切片提供高质量的组织病理学图像，但需要耗时的获取过程。相比之下，FF 切片可以快速制备，但图像质量相对较差。我们的任务是将 FF 图像翻译为 FFPE 风格，以提高诊断用的图像质量。本文提出了一种名为 Diffusion-FFPE 的方法，用于 FF 至 FFPE 组织病理学图像翻译，采用预训练扩散模型。具体而言，我们将一种一步扩散模型作为生成器，在对抗学习框架中使用 LoRA adapter 进行微调。为帮助模型有效捕获全局结构模式和局部细节，我们引入一种多尺度特征融合模块，该模块利用两个 VAE 编码器在不同图像分辨率上提取特征，在输入到 UNet 之前进行特征融合。此外，一个为组织病理学预训练的视觉语言模型作为判别器的背板，提高了模型性能。我们的 FF 至 FFPE 翻译实验在 TCGA-NSCLC 数据集上表明，该方法优于现有方法。代码和模型已发布于 https://github.com/QilaiZhang/Diffusion-FFPE。
引用
@article{arxiv.2406.18054,
title = {Leveraging Pre-trained Models for FF-to-FFPE Histopathological Image Translation},
author = {Qilai Zhang and Jiawen Li and Peiran Liao and Jiali Hu and Tian Guan and Anjia Han and Yonghong He},
journal= {arXiv preprint arXiv:2406.18054},
year = {2024}
}
备注
Accepted at IEEE BIBM 2024