FaceShot：让任何角色活生生地活过来
计算机视觉与模式识别
2025-03-04 v1
摘要
本文提出 FaceShot，一个新颖的无训练肖像动画框架，旨在从任意驱动视频中为任何角色生成动画，而无需微调或重新训练。我们通过提供来自外观引导的 landmark 匹配模块和基于坐标的 landmark 跟腿模块，实现精确且稳健的重定位 landmark 序列。这些组件利用潜在扩散模型的稳健语义对应关系，生成跨广泛角色类型的面部运动序列。随后，我们将 landmark 序列输入预训练的 landmark 驱动动画模型以生成动画视频。凭借强大的泛化能力，FaceShot 显著扩展了肖像动画的应用范围，突破了对真实肖像 landmark 检测的限制，适用于任何风格化角色和驱动视频。FaceShot 还与任何 landmark 驱动动画模型兼容，显著提升了整体性能。针对我们新构建的 character benchmark CharacBench 进行了大量实验，证明 FaceShot 在任何角色领域 consistently 超过最先进（SOTA）方法。更多结果请访问我们的项目网站 https://faceshot2024.github.io/faceshot/
关键词
引用
@article{arxiv.2503.00740,
title = {FaceShot: Bring Any Character into Life},
author = {Junyao Gao and Yanan Sun and Fei Shen and Xin Jiang and Zhening Xing and Kai Chen and Cairong Zhao},
journal= {arXiv preprint arXiv:2503.00740},
year = {2025}
}
备注
Published as a conference paper at ICLR 2025