BronchoGAN：用于视频支气管镜图像的解剖学一致且域无关的图像到图像翻译
图像与视频处理
2025-07-03 v1 计算机视觉与模式识别
摘要
支气管镜图像的稀缺使图像合成尤为有趣，可用于训练深度学习模型。跨不同域的鲁棒图像翻译——虚拟支气管镜、幻体以及体内和体外图像数据——对于临床应用至关重要。本文提出BronchoGAN，引入解剖学约束将其集成到条件GAN中。具体而言，我们强制支气管口与输入输出图像相匹配。我们进一步提出使用基础模型生成的深度图像作为中间表示，确保跨多种输入域的鲁棒性，从而显著降低对单个训练数据集的依赖。此外，我们的中间深度图像表示允许轻松构建训练用的配对图像数据。我们的实验表明，来自不同域（如虚拟支气管镜、幻体）的输入图像可成功翻译为模拟真实人类气道外观的图像。我们通过改进的FID、SSIM和dice系数得分定性和定量地表明，解剖学设置（即支气管口）可被可靠保留。我们的解剖学约束使Dice系数提高最高可达0.43。通过基础模型的中间深度表示，将支气管口分割作为解剖学约束集成到条件GAN中，我们能够可靠地翻译来自不同支气管镜输入域的图像。BronchoGAN允许利用公共CT扫描数据（虚拟支气管镜）生成具有真实外观的大规模支气管镜图像数据集，弥合缺乏公共支气管镜图像的差距。
引用
@article{arxiv.2507.01387,
title = {BronchoGAN: Anatomically consistent and domain-agnostic image-to-image translation for video bronchoscopy},
author = {Ahmad Soliman and Ron Keuth and Marian Himstedt},
journal= {arXiv preprint arXiv:2507.01387},
year = {2025}
}