FlexTraj：具有灵活点轨迹控制的图像到视频生成
计算机视觉与模式识别
2025-10-10 v1
摘要
本文提出 FlexTraj，一个具有灵活点轨迹控制的图像到视频生成框架。FlexTraj 引入一种统一的基于点的运动表示，每个点编码一个分割 ID、一个时间一致的轨迹 ID 以及一个可选的颜色通道用于外观线索，从而实现密集和稀疏轨迹控制。FlexTraj 不通过令牌拼接或 ControlNet 将轨迹条件注入视频生成器，而是采用高效的序列拼接方案，实现更快的收敛、更强的可控性和更高效的推理，同时在未对齐条件下保持鲁棒性。为训练这样一个统一的点轨迹控制视频生成器，FlexTraj 采用退火训练策略，逐步降低对完整监督和对齐条件的依赖。实验结果表明，FlexTraj 实现了多粒度、对齐无关的轨迹视频生成控制，支持运动克隆、基于拖拽的图像到视频、运动插值、相机重定向、灵活动作控制和网格动画等多种应用。
引用
@article{arxiv.2510.08527,
title = {FlexTraj: Image-to-Video Generation with Flexible Point Trajectory Control},
author = {Zhiyuan Zhang and Can Wang and Dongdong Chen and Jing Liao},
journal= {arXiv preprint arXiv:2510.08527},
year = {2025}
}
备注
Project Page: https://bestzzhang.github.io/FlexTraj