Shortcut-V2V：基于时间冗余削减的视频到视频转换压缩框架
计算机视觉与模式识别
2023-10-05 v2
摘要
视频到视频转换旨在从输入视频生成目标域的视频帧。尽管其很有用，现有网络需要巨大的计算量，因而有必要对其进行模型压缩以广泛使用。虽然存在提升各类图像/视频任务计算效率的压缩方法，但针对视频到视频转换的通用压缩方法研究甚少。为此，我们提出 Shortcut-V2V，一种面向视频到视频转换的通用压缩框架。Shortcut-V2V 通过由前一帧的中间特征近似当前帧的中间特征，避免对每一个相邻视频帧进行完整推理。此外，在我们的框架中，一个新提出的称为 AdaBD 的模块自适应地混合与形变相邻帧的特征，从而使得对中间特征的更准确预测成为可能。我们使用知名的视频到视频转换模型在多种任务上进行定量与定性评估，以证明我们框架的通用适用性。结果表明，Shortcut-V2V 在测试时节省 3.2–5.7 倍计算成本与 7.8–44 倍内存的同时，取得了与原始视频到视频转换模型相当的性能。
引用
@article{arxiv.2308.08011,
title = {Shortcut-V2V: Compression Framework for Video-to-Video Translation based on Temporal Redundancy Reduction},
author = {Chaeyeon Chung and Yeojeong Park and Seunghwan Choi and Munkhsoyol Ganbat and Jaegul Choo},
journal= {arXiv preprint arXiv:2308.08011},
year = {2023}
}
备注
Accepted to ICCV 2023