OnUVS:用于高保真超声视频合成的在线特征解耦框架
图像与视频处理
2023-08-17 v1 计算机视觉与模式识别
摘要
超声(US)成像在临床实践中不可或缺。为诊断某些疾病,超声医师必须观察相应的动态解剖结构以收集全面信息。然而,特定 US 视频病例的有限可得性导致在识别对应疾病时存在教学困难,并可能影响此类病例的检出率。US 视频的合成或可作为该问题的一个有前景的解决方案。尽管如此,在保持图像保真度的同时准确动画化动态解剖结构的复杂运动颇具挑战。为此,我们提出一种称为 OnUVS 的新型在线特征解耦框架,用于高保真 US 视频合成。我们的亮点可归纳为四个方面。第一,我们通过弱监督训练策略将解剖信息引入关键点学习,从而在最小化标注负担的同时改善解剖完整性与运动的保持。第二,为更好地保持 US 图像完整性与纹理信息,我们在生成器中实现了将内容与纹理特征解耦的双解码器。第三,我们采用多特征判别器提取全面的视觉线索,从而增强生成视频的锐度与精细细节。第四,我们在在线学习过程中约束关键点的运动轨迹,以提升生成视频的流畅性。我们在内部心超与盆底 US 视频上的验证与用户研究表明,OnUVS 能合成高保真度的 US 视频。
引用
@article{arxiv.2308.08269,
title = {OnUVS: Online Feature Decoupling Framework for High-Fidelity Ultrasound Video Synthesis},
author = {Han Zhou and Dong Ni and Ao Chang and Xinrui Zhou and Rusi Chen and Yanlin Chen and Lian Liu and Jiamin Liang and Yuhao Huang and Tong Han and Zhe Liu and Deng-Ping Fan and Xin Yang},
journal= {arXiv preprint arXiv:2308.08269},
year = {2023}
}
备注
14 pages, 13 figures and 6 tables