StableMotion：将扩散模型图像先验用于运动估计
计算机视觉与模式识别
2025-05-13 v1 机器学习
图像与视频处理
摘要
我们提出StableMotion，一种新型框架利用来自大规模图像扩散模型的已知知识(几何和内容先验)进行运动估计，解决基于单图的图像矫正任务，如拼接图像矫正(SIR)和滚动快门校正(RSC)。具体而言，StableMotion框架以文本到图像Stable Diffusion模型为骨架，并将其改造为图像到运动估计器。为缓解扩散模型产生不一致输出的问题，我们提出了自适应集成策略(AES)，将多个输出整合为连贯且高保真的结果。此外，我们提出抽样步骤灾难(SSD)的概念，即增加抽样步骤数会导致结果变差的反直觉情形，使框架能够实现一步推理。StableMotion在两个图像矫正任务上得到验证，性能均为SOTA，且展现出强大的泛化能力。得益于SSD，StableMotion相对于之前基于扩散模型的方法实现了约200倍的加速。
引用
@article{arxiv.2505.06668,
title = {StableMotion: Repurposing Diffusion-Based Image Priors for Motion Estimation},
author = {Ziyi Wang and Haipeng Li and Lin Sui and Tianhao Zhou and Hai Jiang and Lang Nie and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2505.06668},
year = {2025}
}