Colonoscopy Depth估计的可控Sim-to-Real翻译：PPS-Ctrl
计算机视觉与模式识别
2025-04-25 v1
摘要
准确的深度估计增强了内镜导航和诊断，但在临床环境中获取真实深度困难。常用于训练的合成数据集，但领域差距限制了对真实数据的泛化。我们提出了一种新颖的图像到图像翻译框架，在保持结构的同时生成来自临床数据的真实纹理。我们的关键创新将Stable Diffusion与ControlNet集成，基于从Per-Pixel Shading（PPS）图中提取的潜在表示进行条件控制。PPS捕捉表面照明效应，提供比深度图更强的结构约束。实验表明，我们的方法产生的翻译更真实，提高了深度估计，优于基于GAN的MI-CycleGAN方法。我们的代码已公开 accessible at https://github.com/anaxqx/PPS-Ctrl.
引用
@article{arxiv.2504.17067,
title = {PPS-Ctrl: Controllable Sim-to-Real Translation for Colonoscopy Depth Estimation},
author = {Xinqi Xiong and Andrea Dunn Beltran and Jun Myeong Choi and Marc Niethammer and Roni Sengupta},
journal= {arXiv preprint arXiv:2504.17067},
year = {2025}
}