VidSketch：基于扩散控制的手绘草图驱动视频生成
计算机视觉与模式识别
2025-02-18 v2 人工智能
摘要
随着生成式人工智能的进步，已有研究实现了从手绘草图生成美学图像的任务，满足了公众的绘画需求。然而，这些方法仅限于静态图像，缺乏使用手绘草图控制视频动画生成的能力。为弥补这一空白，我们提出VidSketch，这是首个能够直接从任意数量的手绘草图和简单文本提示生成高质量视频动画的方法，弥合了普通用户与专业艺术家之间的鸿沟。具体而言，我们的方法引入了一种基于等级的草图控制策略，在生成过程中自动调整草图的引导强度，以适应不同绘画技能的用户。此外，我们设计了一种时空注意力机制，以增强生成视频动画的时空一致性，显著提高了帧间的连贯性。更多详细案例请访问我们的官方网站。
引用
@article{arxiv.2502.01101,
title = {VidSketch: Hand-drawn Sketch-Driven Video Generation with Diffusion Control},
author = {Lifan Jiang and Shuang Chen and Boxi Wu and Xiaotong Guan and Jiahui Zhang},
journal= {arXiv preprint arXiv:2502.01101},
year = {2025}
}
备注
17pages, 15 figures