AniClipart：利用文本到视频先验的剪贴画动画
计算机视觉与模式识别
2024-12-12 v2 图形学
摘要
剪贴画是一种预制艺术形式，为创建视觉内容提供了便捷高效的方式。然而，为静态剪贴画制作动画的传统工作流程繁琐且耗时，涉及骨骼绑定、关键帧和中间帧生成等步骤。文本到视频生成的最新进展在解决这一挑战方面具有巨大潜力。然而，直接应用文本到视频模型通常难以保持剪贴画的视觉身份或生成卡通风格的运动，导致动画效果不佳。在本文中，我们介绍了AniClipart，一个计算系统，它将静态剪贴画转换为由文本到视频先验引导的高质量动画。为了生成自然、平滑且连贯的运动，我们首先通过三次贝塞尔曲线参数化在初始剪贴画图像上定义的关键点的运动轨迹。然后，我们通过优化视频分数蒸馏采样（SDS）损失和骨架保真度损失，将这些运动轨迹与给定的文本提示对齐。通过结合可微的尽可能刚性（ARAP）形状变形和可微渲染，AniClipart可以在保持变形刚性的同时进行端到端优化。大量实验结果表明，所提出的AniClipart在文本-视频对齐、视觉身份保持和时间一致性方面始终优于竞争方法。此外，我们通过调整AniClipart以生成允许拓扑变化的分层动画，展示了其多功能性。
引用
@article{arxiv.2404.12347,
title = {AniClipart: Clipart Animation with Text-to-Video Priors},
author = {Ronghuan Wu and Wanchao Su and Kede Ma and Jing Liao},
journal= {arXiv preprint arXiv:2404.12347},
year = {2024}
}
备注
IJCV 2024, Project Page: https://aniclipart.github.io/