NeBLa:基于全景 radiographs 的口腔结构三维重建神经 Beer-Lambert 方法
图像与视频处理
2024-02-08 v6 计算机视觉与模式识别
机器学习
摘要
全景放射摄影(全景 X 线,PX)是一种广泛使用的牙科检查成像方式。然而,PX 仅提供展平的 2D 图像,缺乏口腔结构的三维视图。本文中,我们提出 NeBLa(Neural Beer-Lambert)从真实世界 PX 估计 3D 口腔结构。NeBLa 针对不同对象(患者)处理完整 3D 重建,且每次重建仅基于单张全景图像。我们基于 X 线渲染的 Beer-Lambert 定律与 PX 成像旋转原理,从 3D 锥形束计算机断层扫描(CBCT)数据创建称为模拟 PX(SimPX)的中间表示。SimPX 旨在不仅真实模拟 PX,还便利逆向回 3D 数据的过程。我们提出一种基于光线追踪的新颖神经模型,利用全局与局部输入特征将 SimPX 转换为 3D 输出。推理时,真实 PX 图像经语义正则化翻译为 SimPX 风格图像,再由生成模块处理该翻译图像以产生高质量输出。实验表明,NeBLa 在重建任务的定量与定性上均优于先前最先进水平。与先前方法不同,NeBLa 不需要任何先验信息(如牙弓形状),也不需要用于训练的匹配 PX-CBCT 数据集,而后者在临床实践中难以获取。我们的代码见于 https://github.com/sihwa-park/nebla。
引用
@article{arxiv.2304.04027,
title = {NeBLa: Neural Beer-Lambert for 3D Reconstruction of Oral Structures from Panoramic Radiographs},
author = {Sihwa Park and Seongjun Kim and Doeyoung Kwon and Yohan Jang and In-Seok Song and Seung Jun Baek},
journal= {arXiv preprint arXiv:2304.04027},
year = {2024}
}
备注
18 pages, 16 figures, Accepted to AAAI 2024