ColonNeRF：长序列结肠镜检查的高保真神经重建
计算机视觉与模式识别
2024-03-22 v2
摘要
结肠镜重建对于诊断结直肠癌至关重要。然而，精确的长序列结肠镜重建面临三大挑战：（1）由于结肠蜿蜒和曲折的形状导致各段之间的不相似性；（2）简单与复杂折叠几何结构的共存；（3）受限于相机轨迹的稀疏视角。为了应对这些挑战，我们引入了一个基于神经辐射场（NeRF）的新重建框架，命名为 ColonNeRF，它利用神经渲染进行长序列结肠镜检查的新视角合成。具体而言，为了以分段方式重建整个结肠，我们的 ColonNeRF 引入了区域划分与整合模块，有效降低了形状不相似性并确保了每个片段的几何一致性。为了在统一框架中学习简单和复杂的几何结构，我们的 ColonNeRF 结合了一个多级融合模块，从易到难逐步对结肠区域进行建模。此外，为了克服稀疏视角带来的挑战，我们设计了一个 DensiNet 模块，在语义一致性的指导下对相机位姿进行密集化。我们在合成和真实世界数据集上进行了广泛的实验以评估我们的 ColonNeRF。在定量上，ColonNeRF 在 LPIPS-ALEX 分数上提高了 67%-85%。在定性上，我们的重建可视化显示了更清晰的纹理和更准确的几何细节。这些充分证明了我们优于 SOTA 方法的性能。
引用
@article{arxiv.2312.02015,
title = {ColonNeRF: High-Fidelity Neural Reconstruction of Long Colonoscopy},
author = {Yufei Shi and Beijia Lu and Jia-Wei Liu and Ming Li and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2312.02015},
year = {2024}
}
备注
for Project Page, see https://showlab.github.io/ColonNeRF/