HEMIT：基于双分支 Pix2pix 生成器的 H&E 到多靶标免疫组织化学图像翻译
图像与视频处理
2024-09-30 v2 计算机视觉与模式识别
摘要
多靶标免疫荧光组织化学数据的数值分析正在成为理解癌症肿瘤微环境的重要方法。 本工作提出了 HEMIT 数据集，用于将 Hematoxylin and Eosin (H&E) 切片翻译为多靶标免疫组织化学 (mIHC) 图像，包含 DAPI、CD3 和 panCK 标记。 Distinctively，HEMIT 的 mIHC 图像具有多成分且在细胞水平上与 H&E 对齐，这丰富了受监督的染色翻译任务。 本数据集是已知公开的第一个在细胞水平上对齐，能够实现 H&E 到多靶标 mIHC 图像翻译的数据集。该数据集为计算机视觉社区提供了宝贵资源，以发展新型计算方法，从 H&E 切片档案中获取新见解。 我们还提出了一种新的双分支生成器架构，采用残差卷积神经网络 (CNN) 和 Swin Transformer，实现的翻译效果优于其他流行算法。 在 HEMIT 上评估后，HEMIT 在结构相似性指数 (SSIM)、皮尔逊相关得分 (R) 和峰值信噪比 (PSNR) 等关键指标上总体得分最高。 此外，还使用下游分析进一步验证了生成 mIHC 图像的质量。 这些结果在 stain translation 任务领域树立了新的基准。
引用
@article{arxiv.2403.18501,
title = {HEMIT: H&E to Multiplex-immunohistochemistry Image Translation with Dual-Branch Pix2pix Generator},
author = {Chang Bian and Beth Philips and Tim Cootes and Martin Fergie},
journal= {arXiv preprint arXiv:2403.18501},
year = {2024}
}