MeVGAN:基于 GAN 的插件式视频生成模型及其在结肠镜中的应用
图像与视频处理
2023-11-08 v1 计算机视觉与模式识别
摘要
视频生成十分重要,尤其在医学领域,因为大量数据以此形式呈现。然而,高分辨率数据的视频生成对生成模型而言是一项非常苛刻的任务,因其对内存的巨大需求。本文中,我们提出内存高效视频 GAN (MeVGAN)——一种采用插件式架构的生成对抗网络 (GAN)。我们使用预训练的 2D 图像 GAN,仅添加一个简单的神经网络以在噪声空间中构建相应轨迹,使得该轨迹经由 GAN 模型前向传播即可构造出真实视频。我们将 MeVGAN 应用于结肠镜视频生成任务。结肠镜是一项重要的医疗程序,尤其在结直肠癌筛查与管理中获益良多。然而,由于结肠镜学习困难且耗时,结肠镜模拟器被广泛用于培训年轻结肠镜医师。我们表明 MeVGAN 能够生成高质量的合成结肠镜视频,有望用于虚拟模拟器中。
引用
@article{arxiv.2311.03884,
title = {MeVGAN: GAN-based Plugin Model for Video Generation with Applications in Colonoscopy},
author = {Łukasz Struski and Tomasz Urbańczyk and Krzysztof Bucki and Bartłomiej Cupiał and Aneta Kaczyńska and Przemysław Spurek and Jacek Tabor},
journal= {arXiv preprint arXiv:2311.03884},
year = {2023}
}