深度感知内窝镜视频填充
图像与视频处理
2024-07-04 v1 计算机视觉与模式识别
摘要
视频填充用合理的替代方案填充损坏的视频内容。虽然近期内窝镜视频填充的最新进展显示出潜在的增强内窝镜视频质量的能力，但它们主要在没有有效保留临床参考所需的关键3D空间细节方面修复2D视觉信息。深度感知填充方法试图通过整合深度信息来保留这些细节。然而，在内窝镜环境中，它们面临诸多挑战，包括依赖于预先获取的深度图、融合设计不够有效，以及忽视3D空间细节的保真度。为此，我们引入了一种新型深度感知内窝镜视频填充（DAEVI）框架。它包含用于从视觉特征中直接进行深度估计的空间-时间引导深度估计模块、用于有效渠道逐通道融合视觉与深度信息的双模态配对通道融合模块，以及用于评估由填充帧和估计深度图像组成的RGB-D序列保真度的深度增强判别器。基于 established benchmarks 的实验评估表明，我们的框架优于最先进的方法，PSNR提高了2%，MSE降低了6%。定性分析进一步验证了其在填充细节方面的增强能力，凸显了将深度信息整合到内窝镜填充中的好处。
引用
@article{arxiv.2407.02675,
title = {Depth-Aware Endoscopic Video Inpainting},
author = {Francis Xiatian Zhang and Shuang Chen and Xianghua Xie and Hubert P. H. Shum},
journal= {arXiv preprint arXiv:2407.02675},
year = {2024}
}
备注
Accepted by MICCAI 2024