训练无条件视频扩散模型用于单帧空间语义心尿动图合成
图像与视频处理
2024-09-09 v2 计算机视觉与模式识别
摘要
条件视频扩散模型(CDM)在视频合成方面显示出巨大的潜力, potentially 为生成真实的心尿动图提供可能,以解决数据稀缺问题。然而,当前的CDM需要配对的分割图和心尿动图数据集。我们提出了一种名为Free-Echo的新方法,用于从单个舒张期分割图生成真实的心尿动图,而无需额外的训练数据。该方法基于3D-Unet带时间注意力层模型,并使用基于SDEdit的训练无条件条件方法进行条件控制。我们在两个公共心尿动图数据集(CAMUS和EchoNet-Dynamic)上对模型进行评估。我们展示了该模型能够生成与输入分割图在空间上对齐的合理心尿动图,性能相当于基于训练的CDM。我们的工作为从单个分割图生成心尿动图提供了新的可能性,可用于数据增强、域适应及其他医学影像应用。我们的代码已公开于\url{https://github.com/gungui98/echo-free}。
引用
@article{arxiv.2408.03035,
title = {Training-Free Condition Video Diffusion Models for single frame Spatial-Semantic Echocardiogram Synthesis},
author = {Van Phi Nguyen and Tri Nhan Luong Ha and Huy Hieu Pham and Quoc Long Tran},
journal= {arXiv preprint arXiv:2408.03035},
year = {2024}
}
备注
Accepted to MICCAI 2024