MagicID:面向ID一致性与动态保持的视频定制的混合偏好优化
计算机视觉与模式识别
2025-03-18 v1
摘要
视频身份定制旨在生成保持一致身份并根据用户参考图像呈现显著动态特性的高保真度视频。然而,现有方法面临两个关键挑战:身份在视频长度延长时发生退化,以及在训练期间动态性降低,主要由于依赖传统以静态图像为基础的自重建训练。为解决这些问题,我们引入,一个新型框架,旨在直接促进针对用户偏好生成身份一致且动态丰富的视频。具体而言,我们提出构建包含显式身份和动态奖励的成对偏好视频数据,以进行偏好学习,而不是依赖传统的自重建。为解决定制化偏好数据的限制,我们引入混合抽样策略。该方法首先通过利用源自参考图像的静态视频来优先确保身份保持,然后利用基于前沿的抽样方法来增强生成视频中的动态运动质量。通过利用这些混合偏好对,我们优化模型以匹配定制化偏好对之间的奖励差异。大量实验表明,MagicID成功实现了身份一致性和自然动态,凌超越了现有方法在各种指标上的表现。
引用
@article{arxiv.2503.12689,
title = {MagicID: Hybrid Preference Optimization for ID-Consistent and Dynamic-Preserved Video Customization},
author = {Hengjia Li and Lifan Jiang and Xi Xiao and Tianyang Wang and Hongwei Yi and Boxi Wu and Deng Cai},
journal= {arXiv preprint arXiv:2503.12689},
year = {2025}
}