结构感知的稀疏视角X射线三维重建
图像与视频处理
2024-03-26 v3 计算机视觉与模式识别
摘要
X射线因其能揭示物体内部结构而备受期待，相比可见光可为三维重建提供更丰富的信息。然而，现有的神经辐射场（NeRF）算法忽视了X射线的这一重要特性，导致其在捕捉成像物体结构内容方面存在局限。本文提出一种用于稀疏视角X射线三维重建的框架——结构感知X射线神经辐射密度场（SAX-NeRF）。首先，我们设计了一种基于线段的Transformer（Lineformer）作为SAX-NeRF的主干网络。Lineformer通过建模X射线中每条线段内部的依赖关系来捕捉物体在三维空间中的内部结构。其次，我们提出一种掩码局部-全局（MLG）射线采样策略，以提取二维投影中的上下文与几何信息。此外，我们收集了覆盖更广泛X射线应用的更大规模数据集X3D。在X3D上的实验表明，SAX-NeRF在新视角合成与CT重建上分别比先前基于NeRF的方法高出12.56和2.49 dB。代码、模型与数据发布于 https://github.com/caiyuanhao1998/SAX-NeRF
引用
@article{arxiv.2311.10959,
title = {Structure-Aware Sparse-View X-ray 3D Reconstruction},
author = {Yuanhao Cai and Jiahao Wang and Alan Yuille and Zongwei Zhou and Angtian Wang},
journal= {arXiv preprint arXiv:2311.10959},
year = {2024}
}
备注
CVPR 2024; The first Transformer-based method for X-ray and CT 3D reconstruction