通过解耦解剖算术实现可控心脏图像合成
图像与视频处理
2021-07-06 v1 计算机视觉与模式识别
摘要
大规模获取带有罕见疾病或状况的标注数据仍然是一项挑战。若有一种能够可控地合成图像以纠正此类代表性不足的方法,将极为有用。假设存在恰当的潜在表示,“潜在向量算术”的思想可提供实现此类合成的手段。恰当的表示必须对输入数据的保真度进行编码、保持不变性与等变性,并允许算术运算。受将图像解耦为空间解剖(张量)因子与伴随成像(向量)表示的能力所驱动,我们提出了一种称为“解耦解剖算术”的框架,其中生成模型学习组合不同输入图像的解剖因子,使得当它们与期望的成像模态(例如MRI)重新纠缠时,生成具有目标特征的逼真新心脏图像。为了鼓励算术步骤后解剖因子的逼真组合,我们提出了一种位于生成器之前的局部噪声注入网络。我们的模型用于生成逼真图像、病理标签和分割掩码,以扩充现有数据集,并随后改进事后分类与分割任务。代码公开于https://github.com/vios-s/DAA-GAN。
引用
@article{arxiv.2107.01748,
title = {Controllable cardiac synthesis via disentangled anatomy arithmetic},
author = {Spyridon Thermos and Xiao Liu and Alison O'Neil and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2107.01748},
year = {2021}
}
备注
Accepted for publication in MICCAI 2021