RoPECraft：基于扩散变换器的无训练运动传递方法
计算机视觉与模式识别
2025-11-26 v2 人工智能
机器学习
摘要
我们提出了 RoPECraft，这是一种针对扩散变换器的训练-free 视频运动传递方法，仅通过修改其旋转位置嵌入（RoPE）来实现。我们首先从参考视频中提取稠密光流，并利用 resulting motion offsets 将 RoPE 的复指数张量进行仿射，从而有效地将运动编码到生成过程中。这些嵌入随后通过在去噪时间步骤内进行轨迹对齐（在预测速度和目标速度之间）进行优化，以光流匹配目标实现。为保持输出忠实于文本提示并防止重复生成，我们采用参考视频傅里叶变换的相位组件的正则化项，将相位角投射到光滑流形上，以抑制高频伪影。在基准测试上进行的实验表明，RoPECraft 在定性和定量分析方面均优于最近发布的全部方法。
引用
@article{arxiv.2505.13344,
title = {RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers},
author = {Ahmet Berke Gokmen and Yigit Ekin and Bahri Batuhan Bilecen and Aysegul Dundar},
journal= {arXiv preprint arXiv:2505.13344},
year = {2025}
}
备注
https://berkegokmen1.github.io/RoPECraft/