基于策略梯度的面向少样本学习的视频到视频生成对抗网络
机器学习
2024-10-29 v1 计算机视觉与模式识别
摘要
深度强化学习和生成对抗网络 (GAN) 的最新进展促进了用于视频到视频合成的复杂模型的发展。在本文中，我们提出了 RL-V2V-GAN，一种基于强化学习的用于无监督条件视频到视频合成的深度神经网络新方法。在保持源视频域独特风格的同时，我们的方法旨在学习从源视频域到目标视频域的映射。我们使用策略梯度训练模型，并通过设计细粒度的 GAN 架构和引入时空对抗目标，采用 ConvLSTM 层来捕获空间和时间信息。对抗损失有助于内容转换同时保持风格。与需要配对输入的传统视频到视频合成方法不同，我们提出的方法更具通用性，因为它不需要配对输入。因此，在处理目标域中视频有限的情况，即少样本学习时，它尤为有效。我们的实验表明，RL-V2V-GAN 能够产生时间上连贯的视频结果。这些结果突显了我们的方法在推动视频到视频合成进一步发展方面的潜力。
引用
@article{arxiv.2410.20657,
title = {Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient},
author = {Yintai Ma and Diego Klabjan and Jean Utke},
journal= {arXiv preprint arXiv:2410.20657},
year = {2024}
}
备注
18 pages, 11 figures, submitting to IEEE TNNLS