FlexiClip：保持局部性的自由形状人物动画
计算机视觉与模式识别
2025-07-22 v2 图形学
摘要
在保持视觉保真度和时间一致性的前提下，对 clipart 图像进行平滑运动动画处理 presents significant challenges。现有方法如 AniClipart 有效地建模了空间形变，但往往难以确保平滑的时间过渡，导致突兀的运动和几何畸变。同样，文本到视频(T2V)和图像到视频(I2V)模型在处理 clipart 时难以应对，因为自然视频与 clipart 风格之间的统计属性存在差异。本文提出了 FlexiClip 方法，旨�克服这些限制，通过解决时间一致性和几何完整性之间的相互挑战。FlexiClip 将传统基于 B\'ezier 曲线的轨迹建模扩展引入关键创新：用于逐步修正运动动力学的时域雅可比矩阵(Temporal Jacobians)，用于缓解时间噪声的连续时间模型(基于概率流 ODE 的 pfODEs)，以及受 GFlowNet 原理启发以优化平滑运动过渡的流匹配损失(flow matching loss)。这些增强措施确保了在涉及快速运动和非刚性形变的复杂情境下动画的连贯性。广泛的实验验证表明，FlexiClip 在生成不仅平滑自然且在结构上一致的动画方面效果显著，适用于包括人类和动物在内的多种 clipart 类型。通过将空间和时间建模与预训练视频扩散模型集成，FlexiClip 为高质量 clipart 动画设定了新标准，性能稳健可靠。项目页面：https://creative-gen.github.io/flexiclip.github.io/
引用
@article{arxiv.2501.08676,
title = {FlexiClip: Locality-Preserving Free-Form Character Animation},
author = {Anant Khandelwal},
journal= {arXiv preprint arXiv:2501.08676},
year = {2025}
}
备注
13 pages, 4 figures, 7 tables, Accepted in ICML 2025, https://openreview.net/forum?id=xtxCM4XZ82