VIMs：基于文本到颜料扩散模型的虚拟免疫组织化学多染色技术

本文提出了一种虚拟免疫组织化学多染色（Virtual Immunohistochemistry Multiplex staining，简称VIMs）模型，用于从单一的HE（hematoxylin and eosin，胞染-嗜酸染）组织切片生成多个免疫组织化学（IHC）染色。IHC染色在病理诊断中至关重要，用于解决复杂的诊断问题并指导患者治疗决策。尽管商业实验室提供多达400种不同的抗体IHC染色，但小Biopsy样本常缺乏足够组织进行多次染色，同时保留组织进行后续分子检测。这凸显了虚拟IHC染色的需求。值得注意的是，VIMs是首个解决此需求的模型，利用大型视觉语言单步扩散模型通过每个IHC标记的文本提示实现虚拟IHC多染色。VIMs在单倍染色配对的HE和IHC图像上进行训练，采用对抗性训练模块。VIMs的测试包括配对和非配对图像集。为提高计算效率，VIMs利用预训练的大型潜在扩散模型，通过低秩适配器（LoRA）方法进行微调。实验表明，针对核和细胞质IHC标记，VIMs的性能优于基础扩散模型，与Pix2Pix（用于配对图像翻译的标准生成模型）相当。采用多种评估方法，包括两位病理学家的评估，来确定VIMs的性能。此外，不同提示的实验也凸显了文本条件的影响。本文首次尝试通过仅使用单倍数据训练的单个模型，从单个HE输入生成多个IHC染色，展示了加速组织病理学研究的潜力。