DeepOrganNet：基于深度形变网络从单视图投影实时重建与可视化三维/四维肺模型
图形学
2019-07-23 v1
摘要
本文提出一种基于深度神经网络的方法，即 DeepOrganNet，用于从单视图医学图像实时生成并可视化高保真三维/四维器官几何模型。传统的三维/四维医学图像重建需要近数百张投影，其计算时间难以承受，并对人体施加了过高的成像/辐射剂量。此外，其后续始终需要进一步繁琐的处理以提取准确的3D器官模型。据我们所知，目前尚无方法能够直接从单张二维医学灰度图像实时、显式地重建多个三维器官网格。给定单视图二维医学图像（例如三维/四维CT投影或X射线图像），我们的端到端 DeepOrganNet 框架通过学习基于三元张量积形变技术的多个模板的平滑形变场，并利用从输入二维图像中提取的信息化潜在描述子，能够高效且有效地重建具有多种几何形状的三维/四维肺模型。所提方法能够保证为三维/四维肺模型生成高质量、高保真的流形网格。本工作的主要贡献在于：从二维单视图投影准确重建三维器官形状，显著缩短处理时间以实现实时可视化，并大幅降低人体的成像剂量。我们使用来自合成体模和真实患者数据集的大量三维与四维样例，将实验结果与传统的重建方法以及深度学习中的 SOTA 方法进行评测与比较。所提方法仅需数毫秒即可生成具有 10K 顶点的器官网格，具有在实时图像引导放疗（IGRT）中应用的巨大潜力。
引用
@article{arxiv.1907.09375,
title = {DeepOrganNet: On-the-Fly Reconstruction and Visualization of 3D / 4D Lung Models from Single-View Projections by Deep Deformation Network},
author = {Yifan Wang and Zichun Zhong and Jing Hua},
journal= {arXiv preprint arXiv:1907.09375},
year = {2019}
}
备注
11 pages, 11 figures, proceeding to IEEE Transactions on Visualization and Computer Graphics (TVCG) (IEEE SciVis 2019), October, 2019