利用自监督与元学习改进无监督染色到染色翻译
图像与视频处理
2022-05-18 v2 计算机视觉与模式识别
定量方法
摘要
在数字病理学中，许多图像分析任务受到需要大量且耗时的手动数据标注以应对图像域中各种变异来源的挑战。基于图像到图像翻译的无监督域适应通过无需人工开销地处理变异性，在该领域中日益重要。在此，我们通过无监督染色到染色翻译来解决不同组织学染色的变异，以实现深度学习分割模型的染色无关适用性。我们使用 CycleGAN 进行肾脏组织病理学中的染色到染色翻译，并提出两种新方法来改善翻译有效性。首先，我们将一个先验分割网络集成到 CycleGAN 中，通过语义引导实现面向应用的自监督翻译优化；其次，我们在翻译输出中引入额外通道，以隐式分离原本为处理欠定重建而编码的人为元信息。后者表现出部分优于未修改 CycleGAN 的性能，但前者在所有染色中表现最佳，对大多数肾脏结构（如肾小球、小管和静脉）提供介于 78% 至 92% 的实例级 Dice 分数。然而，CycleGAN 在其他结构（如动脉）的翻译上仅表现出有限性能。我们的研究还发现，与原始染色中的分割相比，所有染色中所有结构的性能均略低。我们的研究表明，在当前的无监督技术下，似乎不太可能生成普遍适用的模拟染色。
引用
@article{arxiv.2112.08837,
title = {Improving Unsupervised Stain-To-Stain Translation using Self-Supervision and Meta-Learning},
author = {Nassim Bouteldja and Barbara Mara Klinkhammer and Tarek Schlaich and Peter Boor and Dorit Merhof},
journal= {arXiv preprint arXiv:2112.08837},
year = {2022}
}
备注
Accepted for Journal of Pathology Informatics (JPI), 2022