每幅画都能醒来：无训练框架的人画到动画生成

我们提出一种无训练框架，专为通过图像到视频（I2V）合成将真实世界的静态画作赋予生命，解决了持续面临的将运动与文本指导对齐、同时保持对原作品忠实再现的挑战。现有的I2V方法主要在自然视频数据集上训练，往往难以从静态画作生成动态输出。保持与真实世界画作视觉一致性生成运动仍具有挑战性，这导致两种不同的失败模式：要么由于文本运动解释有限导致静态输出，要么由于与真实艺术风格对齐不足导致动态失真。我们利用预训练图像模型的先进文本图像对齐能力来指导动画过程。我们的ethods引入合成代理图像，通过两个关键创新实现：（1）双路径得分蒸馏：我们采用双路径架构从真实数据和合成数据中蒸馏运动先验，既保留原画的静态细节，又从合成帧中学习动态特征。（2）混合潜在融合：我们通过在潜在空间中进行球面线性插值整合来自真实画作和合成代理图像的混合特征，确保平滑过渡并增强时间一致性。实验评估表明，我们的方法在与文本提示语的语义对齐方面显著提升，同时忠实地保留了原画作的独特特征和完整性。关键在于，通过无需任何模型训练或可学习参数地实现动态效果增强，我们的框架实现了与现有I2V方法的即插即用集成，成为为真实世界画作动画理想的解决方案。更多动画示例可在我们的项目网站上查阅。