基于方差惩罚的 GAN：将 H&E 图像转化为 IHC 用于精密肿瘤学
图像与视频处理
2026-03-10 v2 计算机视觉与模式识别
摘要
人源表皮生长因子受体 2（HER2）在乳腺细胞中的过表达是 HER2 阳性乳腺癌的关键驱动因素，这是一种高度侵袭性亚型，需精准诊断和靶向治疗。免疫组织化学（IHC）是 HER2 评估的标准技术，但成本高、工作量大，且高度依赖抗体选择。相比之下，血清石油和烟酸（H&E）染色是常规组织病理程序，获取更广泛，但缺乏 HER2 特异性。本研究提出一种先进的深度学习图像翻译框架，用于从 H&E 染色组织样本生成高保真 IHC 图像，实现成本效益和可扩展的 HER2 评估。通过修改金字塔 pix2pix 的损失函数，我们缓解了生成对抗网络（GAN）中的模式崩溃，这是一种根本性局限，并引入一种新的方差惩罚，以强制生成图像具有结构多样性。我们的模型在翻译 HER2 阳性（IHC 3+）图像方面尤为出色，这类图像长期以来一直是现有方法的挑战。总体 BCI 数据集上的定量评估显示，我们的方法优于基线模型，峰值信噪比（PSNR）为 22.16，结构相似性指数（SSIM）为 0.47，Fréchet 意象距离（FID）为 346.37。相比之下，金字塔 pix2pix 基线实现了 PSNR 21.15，SSIM 0.43，FID 516.75，而标准 pix2pix 模型则分别为 PSNR 20.74，SSIM 0.44，FID 472.6。这些结果确认了我们生成 IHC 图像的优越保真度和真实性。除医学影像外，我们的模型在一般图像到图像翻译任务中也表现出优异性能，凸显了其在多个领域的潜力。这一工作标志着 AI 驱动的精密肿瘤学的重要一步，为传统 HER2 诊断提供了可靠且高效的替代方案。
引用
@article{arxiv.2506.18371,
title = {Transforming H&E images into IHC: A Variance-Penalized GAN for Precision Oncology},
author = {Sara Rehmat and Hafeez Ur Rehman and Byeong-Gwon Kang and Sarra Ayouni and Yunyoung Nam},
journal= {arXiv preprint arXiv:2506.18371},
year = {2026}
}