ECHOPulse：基于 ECG 控制的心动图视频生成
摘要
心动图 (ECHO) 对心脏评估至关重要，但其视频质量和解释高度依赖于 manual expertise，导致来自临床和便携式设备的结果不一致。ECHO 视频生成通过提高自动化监控和生成高质量视频来克服这些问题，方法是使用 routine health data。然而，现有模型面临高计算成本、推理缓慢以及依赖需要专家注释的 complex conditional prompts。为解决这些挑战，我们提出了 ECHOPULSE，一种 ECG 条件 ECHO 视频生成模型。ECHOPULSE 引入 two key advancements: (1) 通过利用 VQ-VAE tokenization 和 masked visual token modeling 实现快速解码加速 ECHO 视频生成；(2) 条件于 readily accessible ECG 信号，这些信号与 ECHO 视频高度一致，绕过 complex conditional prompts。据我们了解，这是首个使用像 ECG 信号这样的时间序列 prompts 进行 ECHO 视频生成的 work。ECHOPULSE 不仅能够实现可控的合成 ECHO 数据生成，还为疾病监测和预测提供了超出 ECG alone 的心功能信息。在三个 public 和 private 数据集上的评估表明，ECHOPULSE 在 ECHO 视频生成中在 qualitative 和 quantitative measures 上实现了 state-of-the-art 性能。此外，ECHOPULSE 可以轻松地推广到其他模态生成任务，如心脏 MRI、fMRI 和 3D CT 生成。Demo 可见于 \url{https://github.com/levyisthebest/ECHOPulse_Prelease}。
引用
@article{arxiv.2410.03143,
title = {ECHOPulse: ECG controlled echocardio-grams video generation},
author = {Yiwei Li and Sekeun Kim and Zihao Wu and Hanqi Jiang and Yi Pan and Pengfei Jin and Sifan Song and Yucheng Shi and Tianming Liu and Quanzheng Li and Xiang Li},
journal= {arXiv preprint arXiv:2410.03143},
year = {2024}
}