膨胀二维卷积权重以高效生成三维医学图像
图像与视频处理
2023-12-07 v3 计算机视觉与模式识别
摘要
三维(3D)医学图像的生成因考虑了3D解剖结构而具有很大的应用潜力。两个问题阻碍了3D医学生成模型的有效训练:(1)3D医学图像的获取与标注成本高昂,导致训练图像数量不足;(2)3D卷积涉及大量参数。方法:我们提出了一种称为3D Split&Shuffle-GAN的新型GAN模型。针对3D数据稀缺问题,我们首先利用丰富的图像切片预训练二维(2D)GAN模型,并膨胀2D卷积权重以改善3D GAN的初始化。为GAN模型的生成器和判别器均提出了新颖的3D网络架构,在保持图像生成质量的同时显著减少参数数量。我们研究了多种权重膨胀策略和参数高效的3D架构。结果:在心脏(Stanford AIMI Coronary Calcium)和大脑(Alzheimer's Disease Neuroimaging Initiative)数据集上的实验表明,我们的方法以显著更少的参数(仅为基线方法的48.5%)提升了3D图像生成质量(Fréchet inception distance提升14.7)。结论:我们构建了一个参数高效的3D医学图像生成模型。由于其高效性和有效性,它有潜力为真实用例生成高质量的3D大脑和心脏图像。
引用
@article{arxiv.2208.03934,
title = {Inflating 2D Convolution Weights for Efficient Generation of 3D Medical Images},
author = {Yanbin Liu and Girish Dwivedi and Farid Boussaid and Frank Sanfilippo and Makoto Yamada and Mohammed Bennamoun},
journal= {arXiv preprint arXiv:2208.03934},
year = {2023}
}
备注
Published at Computer Methods and Programs in Biomedicine (CMPB) 2023