RadRotator：基于扩散模型的 X 光片三维旋转

将二维 (2D) 图像转换为三维 (3D) 体数据是计算机视觉界一个广为人知但极具挑战性的问题。在医学领域，先前有少量研究尝试将两张或更多输入 X 光片转换为计算机断层扫描 (CT) 体数据。继他们的努力之后，我们引入了一种基于扩散模型的技术，能够在三维空间中旋转任意输入 X 光片的解剖内容，从而有可能实现从三维任意视点观察 X 光片的全部解剖内容。与先前的研究类似，我们使用 CT 体数据创建了数字重建 X 光片 (DRR) 作为模型的训练数据。然而，我们解决了先前研究中遇到的两个重大局限：1. 我们采用了带有无分类器引导的条件扩散模型，而非生成对抗网络 (GAN)，以实现更高的模式覆盖率和改善的输出图像质量，唯一的权衡是推理时间较慢，而这在医学应用中通常不太关键；2. 我们证明了，风格迁移深度学习 (DL) 模型（如 Cycle-GAN）在将真实 X 光片风格迁移到 DRR 时产生的不可靠输出，可以被一种简单而有效的训练变换所替代，该变换在训练期间随机改变输入和真值成像数据的像素强度直方图。这种变换使扩散模型对输入数据像素强度的任何分布变化保持不变性，从而能够在输入 DRR 上可靠地训练 DL 模型，并在推理期间将完全相同的模型应用于常规 X 光片（或 DRR）。