PathologyGAN：学习癌症组织的深度表示
图像与视频处理
2021-04-14 v5 机器学习
机器学习
摘要
肿瘤的病理组织图像包含关于肿瘤如何生长以及它们如何与微环境相互作用的丰富信息。更好地理解这些图像中的组织表型可揭示癌症潜在病理过程的新决定因素，进而改善诊断和治疗选择。深度学习的进展使其成为实现这些目标的理想工具，然而其应用受限于来自患者数据的高质量标注成本。无监督学习，特别是具有表示学习特性的深度生成模型，为进一步理解癌症组织表型、捕捉组织形态提供了一条替代路径。在本文中，我们开发了一个框架，使 GANs 能够捕捉关键组织特征并利用这些特征为其潜空间赋予结构。为此，我们在两个不同数据集上训练模型：来自国家肿瘤疾病中心（NCT）的 H&E 结直肠癌组织，以及来自荷兰癌症研究所（NKI）和温哥华总医院（VGH）的 H&E 乳腺癌组织，分别由 86 张切片图像和 576 个 TMA 组成。我们展示模型生成高质量图像，FID 为 16.65（乳腺癌）和 32.05（结直肠癌）。我们进一步用癌症组织特征（如癌细胞、淋巴细胞或基质细胞计数）评估图像质量，使用定量信息计算 FID 并展示 9.86 的一致性能。此外，我们模型的潜空间显示出可解释的结构，并允许语义向量操作转化为组织特征变换。而且，两位专家病理学家的评分发现我们生成的组织图像与真实图像无显著差异。代码、图像和预训练模型可在 https://github.com/AdalbertoCq/Pathology-GAN 获取。
引用
@article{arxiv.1907.02644,
title = {PathologyGAN: Learning deep representations of cancer tissue},
author = {Adalberto Claudio Quiros and Roderick Murray-Smith and Ke Yuan},
journal= {arXiv preprint arXiv:1907.02644},
year = {2021}
}
备注
Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://melba-journal.org