穿透烟雾：用于改善视觉感知的手术去烟

微创和机器人辅助手术严重依赖内窥镜成像，但电凝和血管密封器械产生的手术烟雾会严重降低视觉感知并阻碍基于视觉的功能。我们提出了一种基于Transformer的手术去烟模型，该模型采用物理启发式的去烟头，联合预测无烟图像和对应的烟雾图。为解决配对的烟雾图像到无烟图像训练数据稀缺的问题，我们开发了一种合成数据生成流水线，将人工烟雾模式与真实内窥镜图像融合，生成了超过80,000个配对样本用于监督训练。我们进一步整理了我们所知的迄今为止最大的配对手术烟雾数据集，包含5,817对使用达芬奇机器人手术系统捕获的图像对，可在高清内窥镜图像上进行基准测试。在公共基准和我们的数据集上的广泛实验表明，该方法在图像重建方面达到了最先进的性能，优于现有的去雾和去烟方法。我们还评估了去烟对下游立体深度估计和器械分割的影响，突出了数字去烟方法的潜在益处和当前局限性。