草图视频合成
计算机视觉与模式识别
2023-11-28 v1 图形学
摘要
理解语义细节与高层概念在图像草图生成中至关重要，而当应用于视频领域时，这一挑战变得更为艰巨。为此，我们提出了一种新颖的基于优化的框架，用于以逐帧贝塞尔曲线（Bézier curve）表示的视频草图绘制。具体而言，我们首先提出一种跨帧笔画初始化方法，以预热每条曲线的位置与宽度。随后，我们利用基于 CLIP 特征的语义损失以及一种利用自分解二维图集网络（self-decomposed 2D atlas network）新设计的一致性损失来优化这些曲线的位置。基于这些设计要素，所生成的草图视频展现出令人印象深刻的视觉抽象性与时间连贯性。此外，通过草图绘制过程将视频转换为 SVG 线条，我们的方法借助视频合成实现了基于草图的视频编辑与视频涂鸦等应用，如引示图（teaser）所示。
引用
@article{arxiv.2311.15306,
title = {Sketch Video Synthesis},
author = {Yudian Zheng and Xiaodong Cun and Menghan Xia and Chi-Man Pun},
journal= {arXiv preprint arXiv:2311.15306},
year = {2023}
}
备注
Webpage: https://sketchvideo.github.io/ Github: https://github.com/yudianzheng/SketchVideo