中文

用于精确超声心动图合成的特征条件级联视频扩散模型

计算机视觉与模式识别 2024-02-22 v3

摘要

图像合成有望为机器学习方法向临床实践的转化提供价值。模型鲁棒性、域迁移、因果建模和操作员训练等基础问题可通过合成数据得以解决。尤其是像超声成像这类高度依赖操作员的模态,需要鲁棒的图像与视频生成框架。迄今为止,视频生成只能通过提供与输出数据同样丰富的输入数据来实现,例如输入图像序列加条件,输出视频。然而,临床记录通常稀缺,仅报告和存储单张图像,因此利用现有方法无法开展回顾性患者特异性分析或生成丰富的训练数据。本文中,我们将阐明的扩散模型扩展至视频建模,以从单张图像和任意临床参数条件生成合理的视频序列。我们在超声心动图的背景下探索该思路,考察左室射血分数(此类检查中最关键临床指标)的变化。我们使用公开可用的EchoNet-Dynamic数据集进行所有实验。我们的图像到序列方法达到了93%的R2R^2分数,比近期提出的序列到序列生成方法高38个百分点。代码与模型将发布于:https://github.com/HReynaud/EchoDiffusion。

关键词

引用

@article{arxiv.2303.12644,
  title  = {Feature-Conditioned Cascaded Video Diffusion Models for Precise Echocardiogram Synthesis},
  author = {Hadrien Reynaud and Mengyun Qiao and Mischa Dombrowski and Thomas Day and Reza Razavi and Alberto Gomez and Paul Leeson and Bernhard Kainz},
  journal= {arXiv preprint arXiv:2303.12644},
  year   = {2024}
}

备注

Published in MICCAI 2023 proceedings. https://link.springer.com/chapter/10.1007/978-3-031-43999-5_14