中文

重复拼接:2D到3D图像翻译中的3D到3D生成模型

计算机视觉与模式识别 2024-06-27 v1 图像与视频处理

摘要

本文探讨了一种用于2D到3D图像翻译的方法,通过简单直接的技术手段,实现相关的2D X射线到3D CT-like重建。我们注意到,现有方法通过在潜在空间中整合多个2D视图的信息,在潜在编码过程中丢失了宝贵的信号信息。相反,我们仅通过重复和拼接2D视图形成高通道3D体积,将3D重建挑战视为一个直接的3D到3D生成建模问题,从而规避了若干复杂的建模问题。该方法使重建的3D体积能够保留来自2D输入的宝贵信息,这些信息在Swin UNETR backbone中以通道状态传递。我们的方案应用神经最优传输,该方法训练快且稳定,有效地在无需精确对齐的情况下整合多个视图的信号信息;它产生的非坍缩重建对2D视图极其忠实,即便在有限训练后亦然。我们在定性和定量分析方面都展示了相关结果,通过在单个数据集上训练模型,并在六个数据集上评估其泛化能力(包括分布外样本)来实现此目标。

关键词

引用

@article{arxiv.2406.18422,
  title  = {Repeat and Concatenate: 2D to 3D Image Translation with 3D to 3D Generative Modeling},
  author = {Abril Corona-Figueroa and Hubert P. H. Shum and Chris G. Willcocks},
  journal= {arXiv preprint arXiv:2406.18422},
  year   = {2024}
}

备注

CVPRW 2024 - DCA in MI; Best Paper Award