AnchorCrafter：基于人物-物体交互视频生成的 animate 网络锚点
计算机视觉与模式识别
2025-06-24 v2
摘要
锚点风格产品推广视频的生成为电子商务、广告和用户参与度提供了广阔机遇。尽管在姿态引导的人类视频生成方面取得了进展，但创建产品推广视频仍然具有挑战性。在解决这一挑战的过程中，我们确定将人物-物体交互（HOI）集成到姿态引导的人类视频生成中是一个核心问题。为此，我们引入 AnchorCrafter，一种基于扩散的新型系统，用于生成 featuring 目标人物和定制化物体的 2D 视频，实现高视觉保真度和可控交互。具体而言，我们提出了两个关键创新：HOI-外观感知，增强了从任意多视角角度对物体外观的识别能力，并解耦了物体和人类的外观；HOI-运动注入，通过克服物体轨迹条件和遮挡管理挑战，实现复杂的人物-物体交互。广泛的实验表明，我们的系统在保持物体外观方面优于现有最先进方法提升了 7.5%，物体定位精度提升了一倍。系统在保持人类运动一致性和高质量视频生成方面也优于现有方法。项目页面包括数据、代码和 Huggingface demo：https://github.com/cangcz/AnchorCrafter
引用
@article{arxiv.2411.17383,
title = {AnchorCrafter: Animate Cyber-Anchors Selling Your Products via Human-Object Interacting Video Generation},
author = {Ziyi Xu and Ziyao Huang and Juan Cao and Yong Zhang and Xiaodong Cun and Qing Shuai and Yuchen Wang and Linchao Bao and Jintao Li and Fan Tang},
journal= {arXiv preprint arXiv:2411.17383},
year = {2025}
}