MoViE: 用于视频编辑的移动端扩散模型
计算机视觉与模式识别
2024-12-10 v1
摘要
基于扩散的视频编辑近期进展展示了在实用应用方面的显著潜力。然而，这些方法在移动设备上部署仍然成本高昂且极具挑战。在本研究中，我们提出一系列优化方案使移动端视频编辑成为可能。基于现有的图像编辑模型，我们首先优化其架构并引入轻量级自编码器。随后，我们将无分类器引导蒸馏扩展至多模态，实现设备上三倍加速。最后，我们通过引入一种新颖的对抗蒸馏方案将采样步数减少至一步，同时保持编辑过程的可控性。这些优化共同使移动端视频编辑达到每秒12帧的速度，同时保持高质量。我们的结果可在 https://qualcomm-ai-research.github.io/mobile-video-editing/ 获取。
引用
@article{arxiv.2412.06578,
title = {MoViE: Mobile Diffusion for Video Editing},
author = {Adil Karjauv and Noor Fathima and Ioannis Lelekas and Fatih Porikli and Amir Ghodrati and Amirhossein Habibian},
journal= {arXiv preprint arXiv:2412.06578},
year = {2024}
}
备注
8 pages