基于CT扫描的多视角X光图像合成与多域解缠
图像与视频处理
2024-08-01 v2 计算机视觉与模式识别
摘要
X光图像因其高分辨率和快速成像速度，在内科过程中发挥着重要作用，大大推动了后续的分割、配准和重建。然而，过度剂量的X光照射在一定程度上对人体健康构成潜在风险。从体扫描到X光图像的数据驱动算法受限于缺乏配对的X光图像和体数据。现有方法主要通过建模整个X光成像过程来实现。本研究提出一种称为CT2X-GAN的学习方法，通过从三个不同图像域中进行内容和风格解缠，以无监督方式合成X光图像。该方法通过一系列解缠编码器将解剖结构信息从CT扫描中解耦，并从未配对的真实X光图像/数字重建 X 射线(DRR)图像中解耦风格信息。此外，我们引入一种新型一致性正则化项，以提高合成X光图像与真实X光图像的风格相似性。同时，我们通过计算计算得到的真实DRR与合成DRR图像的相似性施加监督。我们进一步开发了姿态注意力模块，以充分强化从CT扫描中解耦的内容代码中所包含的综合信息，促进低维空间中高质量多视角图像合成。在公开可用的CTSpine1K数据集上进行了大量实验，分别以97.8350、0.0842和3.0938的FID、KID和定义用户评分的X射线相似性得分取得佳绩。与3D感知方法（如pi-GAN、EG3D）相比，CT2X-GAN在提高合成质量和逼真度方面具有优势。
引用
@article{arxiv.2404.11889,
title = {Multi-view X-ray Image Synthesis with Multiple Domain Disentanglement from CT Scans},
author = {Lixing Tan and Shuang Song and Kangneng Zhou and Chengbo Duan and Lanying Wang and Huayang Ren and Linlin Liu and Wei Zhang and Ruoxiu Xiao},
journal= {arXiv preprint arXiv:2404.11889},
year = {2024}
}
备注
13 pages, 10 figures, ACM MM2024