利用无监督方法解释医学图像生成模型的潜空间
图像与视频处理
2022-07-21 v1 计算机视觉与模式识别
机器学习
摘要
生成对抗网络（GAN）和变分自编码器（VAE）等生成模型在医学图像分析中发挥着越来越重要的作用。这些模型的潜空间常常显示出对应于人类可解释图像变换的语义上有意义的的方向。然而，迄今为止，由于对有监督数据的需求，它们在医学图像上的探索一直受限。若干用于在 GAN 潜空间中发现可解释方向的无监督方法已在自然图像上展示出有趣的结果。本工作通过在胸部 CT 扫描上训练 GAN 和 VAE，并使用无监督方法在所得潜空间中发现可解释方向，来探索将这些技术应用于医学图像的潜力。我们发现了若干对应于非平凡图像变换（如旋转或乳房大小）的方向。此外，这些方向表明，尽管仅以 2D 数据呈现，生成模型仍捕获了 3D 结构。结果表明，在 GAN 中发现可解释方向的无监督方法可推广到 VAE，并可应用于医学图像。这为在医学图像分析中使用这些方法的广泛未来工作开辟了空间。
引用
@article{arxiv.2207.09740,
title = {Interpreting Latent Spaces of Generative Models for Medical Images using Unsupervised Methods},
author = {Julian Schön and Raghavendra Selvan and Jens Petersen},
journal= {arXiv preprint arXiv:2207.09740},
year = {2022}
}
备注
Accepted for presentation at DGM4MICCAI 2022