用于多视角 RGB-D 手术室图像的动态深度监督 NeRF
计算机视觉与模式识别
2023-08-31 v2
摘要
手术室（OR）是感知系统开发所关注的环境，可实现人员、物体及其语义关系的检测。由于手术室中频繁遮挡，这些系统通常依赖多相机输入。虽然增加相机数量通常能提升算法性能，但手术室中相机的数量与位置存在硬性限制。神经辐射场（NeRF）可用于从任意相机位姿渲染合成视角，从而在数据集上虚拟增加相机数量。本文中，我们探索将 NeRF 用于手术室动态场景的视角合成，并表明利用来自 RGB-D 传感器数据的深度监督进行正则化可提升图像质量。我们优化了一个动态深度监督 NeRF，使用多达六个同步相机，捕捉膝关节置换手术前及期间的五个不同阶段手术视野。我们定性检查了虚拟相机在手术视野周围旋转 180 度、不同时间值下渲染的视角。定量上，我们从未见过的相机位姿评估视角合成，对彩色通道采用 PSNR、SSIM 和 LPIPS，对估计深度采用 MAE 和误差百分比。我们发现 NeRF 可用于生成几何一致的视角，也包括插值相机位姿与插值时间间隔的情况。从未见过的相机位姿生成的视角平均 PSNR 为 18.2，深度估计误差为 2.0%。我们的结果显示了动态 NeRF 在手术室视角合成中的潜力，并强调了临床环境中深度监督的重要性。
引用
@article{arxiv.2211.12436,
title = {Dynamic Depth-Supervised NeRF for Multi-View RGB-D Operating Room Images},
author = {Beerend G. A. Gerats and Jelmer M. Wolterink and Ivo A. M. J. Broeders},
journal= {arXiv preprint arXiv:2211.12436},
year = {2023}
}
备注
Accepted to the Workshop on Ambient Intelligence for HealthCare 2023