基于特征解耦的弱监督高保真超声视频合成
计算机视觉与模式识别
2022-07-04 v1 人工智能
机器学习
图像与视频处理
摘要
超声(US)因其实时成像、无辐射和便携等优势而被广泛应用。在临床实践中，分析与诊断常依赖US序列而非单幅图像，以获取动态解剖信息。这对初学者而言颇具挑战，因为用充足的患者视频进行练习在临床中不现实。本文提出一种合成高保真US视频的新框架。具体而言，合成视频通过基于给定驱动视频的运动对源内容图像进行动画生成。我们的亮点有三方面。首先，利用自监督与全监督学习的优势，所提系统以弱监督方式进行关键点检测训练。这些关键点随后为处理US视频中复杂的高动态运动提供重要信息。其次，我们使用双解码器解耦内容与纹理学习，有效降低模型学习难度。最后，我们采用带GAN损失的对抗训练策略，进一步提升生成视频的清晰度，缩小真实与合成视频间的差距。我们在一个具有高通量动态运动的大型内部盆腔数据集上验证了方法。大量评估指标与用户研究证明了所提方法的有效性。
引用
@article{arxiv.2207.00474,
title = {Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling},
author = {Jiamin Liang and Xin Yang and Yuhao Huang and Kai Liu and Xinrui Zhou and Xindi Hu and Zehui Lin and Huanjia Luo and Yuanji Zhang and Yi Xiong and Dong Ni},
journal= {arXiv preprint arXiv:2207.00474},
year = {2022}
}
备注
Accepted by MICCAI 2022