InteractPro：面向运动感知图像合成的统一框架
计算机视觉与模式识别
2025-09-10 v3
摘要
我们介绍了 InteractPro，一个用于动态运动感知图像合成的综合框架。其核心是 InteractPlan，这是一个智能规划器，利用大视觉语言模型（LVLM）进行场景分析和物体放置，确定实现逼真运动效果的最佳合成策略。基于每个场景，InteractPlan 在我们的两个专用模块之间进行选择：InteractPhys 和 InteractMotion。InteractPhys 采用基于增强物质点法（MPM）的模拟，以产生物理上忠实且可控的物体-场景交互，捕捉需要真实物理建模的多样且抽象的事件。相比之下，InteractMotion 是一种基于预训练视频扩散的无训练方法。传统合成方法存在两大局限性：需要手动规划物体放置以及生成静态、无运动的输出。通过在规划器指导下统一基于模拟和基于扩散的方法，InteractPro 克服了这些挑战，确保了丰富的运动感知合成。大量的定量和定性评估证明了 InteractPro 在各种场景中产生可控且连贯合成的有效性。
引用
@article{arxiv.2409.10090,
title = {InteractPro: A Unified Framework for Motion-Aware Image Composition},
author = {Weijing Tao and Xiaofeng Yang and Miaomiao Cui and Guosheng Lin},
journal= {arXiv preprint arXiv:2409.10090},
year = {2025}
}