RT-GAN：为基于单帧的域翻译方法添加轻量级时间一致性的循环时序GAN
计算机视觉与模式识别
2025-05-14 v2 图像与视频处理
摘要
仅美国每年便进行一千四百万次结肠镜检查。然而，受存储限制（每台高清结肠镜摄像头的视频可达数十GB），这些检查视频未被保存。相反，仅保存少量相关单帧用于文档记录/报告，而大多数当前结肠镜AI模型正是基于这些帧训练。因此在开发结肠镜无监督域翻译新方法时（例如真实光学与虚拟/CT结肠镜间翻译），通常从最初适用于无时间一致性的单帧方法起步。单帧模型确定后，再通过改进深度学习架构添加连续帧，从头训练具备时间一致性的新模型。然而，向时间一致深度学习模型的这一过渡需要显著更多的计算与内存资源用于训练。本文中，我们提出一种带可调时间参数的轻量级方案RT-GAN（Recurrent Temporal GAN，循环时序GAN），为基于单帧的方法添加时间一致性，将训练需求降低5倍。我们在结肠镜两个具挑战性的用例上展示方法有效性：袋状襞分割（指示遗漏表面）与逼真结肠镜模拟视频生成。我们还发布了上述用例的首个结肠镜时间数据集。数据集、配套代码与预训练模型将于我们的计算内镜平台GitHub（https://github.com/nadeemlab/CEP）提供。补充视频见https://youtu.be/UMVP-uIXwWk。
引用
@article{arxiv.2310.00868,
title = {RT-GAN: Recurrent Temporal GAN for Adding Lightweight Temporal Consistency to Frame-Based Domain Translation Approaches},
author = {Shawn Mathew and Saad Nadeem and Alvin C. Goh and Arie Kaufman},
journal= {arXiv preprint arXiv:2310.00868},
year = {2025}
}
备注
MICCAI 2025 Early Accept. First two authors contributed equally