Movie Weaver：基于锚定提示的无调参多概念视频个性化
计算机视觉与模式识别
2025-02-13 v1 图形学
机器学习
摘要
视频个性化利用参考图像生成定制化视频，已受到广泛关注。然而，现有方法通常侧重于单概念个性化，限制了需要多概念整合的更广泛应用。将这些模型扩展到多概念的尝试往往会导致身份混合，从而产生融合了多个来源属性的复合角色。这一挑战的出现是由于缺乏一种将每个概念与其特定参考图像联系起来的机制。我们通过锚定提示来解决这一问题，该提示将图像锚点作为唯一标记嵌入到文本提示中，以指导生成过程中的准确参照。此外，我们引入了概念嵌入来编码参考图像的顺序。我们的方法 Movie Weaver 能够将多个概念（包括人脸、身体和动物图像）无缝编织到一个视频中，允许在单一模型中进行灵活组合。评估表明，Movie Weaver 在身份保持和整体质量方面优于现有的多概念视频个性化方法。
引用
@article{arxiv.2502.07802,
title = {Movie Weaver: Tuning-Free Multi-Concept Video Personalization with Anchored Prompts},
author = {Feng Liang and Haoyu Ma and Zecheng He and Tingbo Hou and Ji Hou and Kunpeng Li and Xiaoliang Dai and Felix Juefei-Xu and Samaneh Azadi and Animesh Sinha and Peizhao Zhang and Peter Vajda and Diana Marculescu},
journal= {arXiv preprint arXiv:2502.07802},
year = {2025}
}
备注
Project page: https://jeff-liangf.github.io/projects/movieweaver/