Follow-Your-Click：通过简短提示实现开放域区域图像动画
计算机视觉与模式识别
2024-03-14 v1
摘要
尽管图像到视频生成近期取得了进展，但更好的可控性和局部动画仍探索不足。大多数现有图像到视频方法不具备局部感知能力，倾向于移动整个场景。然而，人类艺术家可能需要控制不同物体或区域的运动。此外，当前的 I2V 方法不仅要求用户描述目标运动，还需提供冗余的帧内容详细描述。这两个问题阻碍了当前 I2V 工具的实际应用。在本文中，我们提出一个实用框架，名为 Follow-Your-Click，通过简单的用户点击（指定移动什么）和简短的运动提示（指定如何移动）来实现图像动画。技术上，我们提出了首帧掩码策略，显著提升了视频生成质量，并配备了一个运动增强模块及简短运动提示数据集，以提升模型遵循简短提示的能力。为进一步控制运动速度，我们提出了基于流的运动幅度控制，以更精确地控制目标运动的速度。我们的框架具有比先前方法更简单而精确的用户控制以及更好的生成性能。与包括商业工具和研究方法在内的 7 个基线在 8 项指标上的大量实验比较，表明了我们的方法的优越性。项目页面：https://follow-your-click.github.io/
引用
@article{arxiv.2403.08268,
title = {Follow-Your-Click: Open-domain Regional Image Animation via Short Prompts},
author = {Yue Ma and Yingqing He and Hongfa Wang and Andong Wang and Chenyang Qi and Chengfei Cai and Xiu Li and Zhifeng Li and Heung-Yeung Shum and Wei Liu and Qifeng Chen},
journal= {arXiv preprint arXiv:2403.08268},
year = {2024}
}
备注
Project Page: https://follow-your-click.github.io/ Github Page: https://github.com/mayuelala/FollowYourClick