用于视频到视频域适应的生成对抗网络
计算机视觉与模式识别
2020-04-20 v1
摘要
来自多中心的内镜视频通常具有不同的成像条件，例如颜色和光照，这使得在一个域上训练的模型通常无法很好地泛化到另一个域。域适应是解决该问题的潜在方案之一。然而，现有工作很少关注基于视频的数据的迁移。在本工作中，我们提出一种新颖的生成对抗网络（GAN），即 VideoGAN，用于跨域迁移基于视频的数据。由于视频的帧可能具有相似的内容和成像条件，所提出的 VideoGAN 具有一个 X 形生成器，以在迁移过程中保持视频内一致性。此外，提出了一种称为颜色直方图损失的损失函数，用于调整每帧迁移后图像的颜色分布。我们采用来自不同中心的两个结肠镜数据集，即 CVC-Clinic 和 ETIS-Larib，来评估我们的 VideoGAN 的域适应性能。实验结果表明，由我们的 VideoGAN 生成的适配结肠镜视频可显著提升多中心数据集上结直肠息肉的分割精度，即提升 5%。由于我们的 VideoGAN 是一种通用网络架构，我们还在 CamVid 驾驶视频数据集的阴天到晴天迁移任务上评估了其性能。综合实验表明，域差距可通过我们的 VideoGAN 大幅缩小。
引用
@article{arxiv.2004.08058,
title = {Generative Adversarial Networks for Video-to-Video Domain Adaptation},
author = {Jiawei Chen and Yuexiang Li and Kai Ma and Yefeng Zheng},
journal= {arXiv preprint arXiv:2004.08058},
year = {2020}
}
备注
Accepted by AAAI 2020