通过再平衡参考坐标系主导性提升图像到视频模型中的运动
计算机视觉与模式识别
2026-05-21 v2 人工智能
摘要
图像到视频模型常常生成的视频相较于文本到视频模型过于静态。虽然已有方法通过削弱或修改图像条件信号来缓解此问题，但这些方法通常需要额外的训练或牺牲对参考图像的保真度。在本工作中，我们识别出参考帧主导性作为运动抑制的关键机制。我们观察到，I2V模型中非参考帧在注意力机制上分配过多的自注意力给参考帧的关键标记，导致参考信息在时间上被过度传播，从而抑制了帧间动力学。基于这一发现，我们提出了DyMoS（Dynamic Motion Slider），一种无需训练且模型无关的方法，通过重新平衡初始去噪步骤中从生成帧到参考帧的注意力路径。DyMoS既不改变输入图像，也不修改模型权重，仅引入一个标量参数以实现对运动强度的连续控制。跨多个最先进I2V主干网络的实验表明，DyMoS在保持视觉质量和对参考图像保真度的同时，持续改善运动动力学。
引用
@article{arxiv.2605.19398,
title = {Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models},
author = {Wooseok Jeon and Seungho Park and Seunghyun Shin and Sangeyl Lee and Hyeonho Jeong and Hae-Gon Jeon},
journal= {arXiv preprint arXiv:2605.19398},
year = {2026}
}
备注
Preprint. Project page: https://sh0xed98b8.github.io/DyMoS/