3DPX: 基于混合 MLP-CNN 网络的渐进式 2D 到 3D 口腔图像重建
图像与视频处理
2024-08-05 v1 人工智能
计算机视觉与模式识别
摘要
全景 X 射线(PX) 是牙科诊疗中常见的模态,因其广泛可用性和低成本而受到青睐。然而作为 2D 投影图像,PX 不包含 3D 解剖信息,因此在依赖 3D 信息的牙科应用中有限,例如牙齿角度错位检测和分类。直接从 2D PX 重建 3D 结构最近受到关注,以解决主要依赖卷积神经网络(CNN)进行直接 2D 到 3D 映射的现有方法的局限。然而,这些方法无法正确推断深度轴的空间信息。此外,它们受卷积操作固有局部性的限制,卷积核仅捕获 immediate 邻域像素的信息。本研究提出一种渐进式混合多层感知器(MLP)-CNN 金字塔网络(3DPX)用于 2D 到 3D 口腔 PX 重建。我们引入渐进式重建策略,在 3DPX 中逐层重建 3D 图像,并在每个金字塔级别的中间重建结果上施加指导。进一步地,受最新 MLP 进展的启发,这些方法在捕获细粒度长程依赖方面表现突出,我们的 3DPX 将 MLP 与 CNN 集成以提高重建期间的语义理解。在两大数据集上进行 464 项实验表明,我们的 3DPX 在重建质量方面优于当前最先进的 2D 到 3D 口腔重建方法,包括独立的 MLP 和变换器,并改进了下游角度错位分类任务的性能。
关键词
引用
@article{arxiv.2408.01292,
title = {3DPX: Progressive 2D-to-3D Oral Image Reconstruction with Hybrid MLP-CNN Networks},
author = {Xiaoshuang Li and Mingyuan Meng and Zimo Huang and Lei Bi and Eduardo Delamare and Dagan Feng and Bin Sheng and Jinman Kim},
journal= {arXiv preprint arXiv:2408.01292},
year = {2024}
}
备注
accepted by MICCAI 2024