基于双路径提示反转的非配对多域组织病理学虚拟染色
图像与视频处理
2024-12-17 v1 计算机视觉与模式识别
摘要
虚拟染色利用计算机辅助技术将组织化学染色组织样本的风格迁移至其他染色类型。在病理图像的虚拟染色中，保持严格的结构一致性至关重要，因为这些图像比自然图像更强调结构完整性。即使是轻微的结构改变也可能导致诊断语义信息的偏差。此外，虚拟染色数据的非配对特性可能损害病理诊断内容的保留。为应对这些挑战，我们提出了一种基于提示学习的双路径反转虚拟染色方法，通过优化视觉提示来控制内容和风格，同时保持完整的病理诊断内容。我们提出的反转技术包含两个关键组成部分：（1）双路径提示策略，我们利用特征适配器函数生成用于反转的参考图像，为输入图像反转提供风格模板，称为风格目标路径。我们利用输入图像的反转作为结构目标路径，在该路径中采用视觉提示图像来保持结构一致性，同时保留来自风格目标路径的风格信息。在确定性采样过程中，我们通过即插即用嵌入视觉提示方法实现完整的内容-风格解耦。（2）StainPrompt 优化，我们仅优化零视觉提示作为双路径反转的"算子"，而非微调预训练模型。我们在每个时间步上围绕关键噪声优化结构轨迹和风格轨迹的零视觉提示，确保准确的双路径反转重建。在公开可用的多域非配对染色数据集上的广泛评估表明，该方法具有高结构一致性和准确的风格迁移结果。
引用
@article{arxiv.2412.11106,
title = {Unpaired Multi-Domain Histopathology Virtual Staining using Dual Path Prompted Inversion},
author = {Bing Xiong and Yue Peng and RanRan Zhang and Fuqiang Chen and JiaYe He and Wenjian Qin},
journal= {arXiv preprint arXiv:2412.11106},
year = {2024}
}