用于可变形组织快速 4D 重建的神经 LerPlane 表示
计算机视觉与模式识别
2023-06-01 v1 人工智能
摘要
从机器人手术中的内窥镜立体视频重建可变形组织对各种临床应用至关重要。然而,现有仅依赖隐式表示的方法计算代价高昂且需要数十小时,限制了进一步的实际应用。为应对此挑战,我们引入 LerPlane,一种在单视角设定下快速准确重建手术场景的新颖方法。LerPlane 将手术过程视为 4D 体积,并将其分解为静态与动态场的显式 2D 平面,从而带来紧凑的内存占用和显著加速的优化。该高效分解通过融合各平面线性插值获得的特征实现,并使得使用轻量神经网络建模手术场景成为可能。此外,LerPlane 共享静态场,显著减少了动态组织建模的工作量。我们还提出一种新颖采样方案,以在工具遮挡和大运动区域提升优化与性能。在 DaVinci 机器人手术视频上的实验表明,LerPlane 在保持各种非刚性变形高质的同时,将优化加速超过 100,对未来术中手术应用展现出显著前景。
引用
@article{arxiv.2305.19906,
title = {Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues},
author = {Chen Yang and Kailing Wang and Yuehao Wang and Xiaokang Yang and Wei Shen},
journal= {arXiv preprint arXiv:2305.19906},
year = {2023}
}
备注
11 pages, 3 fugure