通过非配对图像到图像翻译 GAN 模型实现无切片 MUSE 显微术至 H&E 组织学模态转换
图像与视频处理
2020-08-20 v1 计算机视觉与模式识别
机器学习
摘要
MUSE 是一种新颖的无切片组织成像技术，可作为传统组织学的替代方案用于组织学检查。为弥合 MUSE 与传统组织学之间的差距，我们旨在将 MUSE 图像转换为类似真实的苏木精-伊红染色（H&E）图像。我们评估了四种模型：基于非机器学习的颜色映射解混工具、CycleGAN、DualGAN 和 GANILLA。CycleGAN 与 GANILLA 提供了视觉上令人信服的结果，恰当迁移了 H&E 风格并保留了 MUSE 内容。通过在真实与生成 H&E 图像上训练自动化评判器，我们确定 CycleGAN 表现出最佳性能。我们还发现 MUSE 颜色反相可能是精确模态转换至 H&E 的必要步骤。我们相信我们的 MUSE 到 H&E 模型可通过弥合 MUSE 成像与传统组织学之间的感知差距，帮助提升新型无切片方法的采用。
引用
@article{arxiv.2008.08579,
title = {Slide-free MUSE Microscopy to H&E Histology Modality Conversion via Unpaired Image-to-Image Translation GAN Models},
author = {Tanishq Abraham and Andrew Shaw and Daniel O'Connor and Austin Todd and Richard Levenson},
journal= {arXiv preprint arXiv:2008.08579},
year = {2020}
}
备注
4 pages plus 1 page references. Presented at the ICML Computational Biology Workshop 2020