中文

可解释且可控的动作曲线引导的心脏超声视频生成

图像与视频处理 2024-08-01 v1 人工智能 计算机视觉与模式识别 机器学习

摘要

超声心动图视频是诊断心脏疾病的主要模态之一,但数据有限给临床教学和机器学习训练带来了挑战。最近,视频生成模型作为缓解这一问题的有前景的策略。然而,先前的方法通常依赖于生成过程中的整体条件,阻碍了对特定心脏结构的灵活运动控制。针对这一问题,我们提出了一种可解释且可控的心动图视频生成方法,采用初始帧和动作曲线作为引导。我们的贡献有三方面:第一,我们从每个心脏亚结构中提取运动信息,以构建动作曲线,使扩散模型能够通过修改这些曲线来合成定制的心动图视频;第二,我们提出了结构到运动的对齐模块,可将语义特征映射到心脏结构上的动作曲线;第三,设计了位置感知注意力机制,以利用带有结构位置信息的高斯掩码来增强视频一致性。在三个心动图数据集上的大量实验表明,我们的方法在保真度和一致性方面优于其他方法。该代码将在 https://github.com/mlmi-2024-72/ECM 发布。

关键词

引用

@article{arxiv.2407.21490,
  title  = {Explainable and Controllable Motion Curve Guided Cardiac Ultrasound Video Generation},
  author = {Junxuan Yu and Rusi Chen and Yongsong Zhou and Yanlin Chen and Yaofei Duan and Yuhao Huang and Han Zhou and Tan Tao and Xin Yang and Dong Ni},
  journal= {arXiv preprint arXiv:2407.21490},
  year   = {2024}
}

备注

Accepted by MICCAI MLMI 2024