通过超写实改进手术训练模型：基于真实手术的深度非配对图像到图像翻译
计算机与社会
2019-04-09 v1
摘要
当前的“干实验室”手术模型模拟器是外科医生提升器械操作灵巧度与技能的有价值工具。这些模型模拟了目标器官的手感与形状，但缺乏逼真的视觉外观。本工作中，我们提出了一种创新应用：将真实术中内镜序列中学习到的表征迁移至手术模型场景。本文在该领域引入“超写实”（hyperrealism）一词，我们将其视为手术增强现实的一种新型子形式，用于涉及实时物体变形的方法。对于计算机视觉领域的相关任务，非配对循环一致生成对抗网络（GANs）在静态 RGB 图像上已展现出优异结果。然而，将该方法应用于连续视频帧会导致闪烁，且在本应用中尤为明显。因此，我们提出一种循环一致 GAN 的扩展，称为 tempCycleGAN，以改善时间一致性。该新方法在用于训练内镜重建二尖瓣手术的硅胶模型采集数据上进行了评估。合成视频显示出高度逼真的结果：1）将模型瓣膜的硅胶外观替换为术中组织纹理，同时 2）显式保留场景中的关键特征，如器械、缝线和假体。与原始 CycleGAN 方法相比，tempCycleGAN 有效消除了帧间闪烁。整体方法有望改变手术训练模拟器的未来设计，因为所生成的序列明确证明了其为微创操作提供显著更真实训练体验的可行性。
引用
@article{arxiv.1806.03627,
title = {Improving Surgical Training Phantoms by Hyperrealism: Deep Unpaired Image-to-Image Translation from Real Surgeries},
author = {Sandy Engelhardt and Raffaele De Simone and Peter M. Full and Matthias Karck and Ivo Wolf},
journal= {arXiv preprint arXiv:1806.03627},
year = {2019}
}
备注
8 pages, accepted at MICCAI 2018, supplemental material at https://youtu.be/qugAYpK-Z4M