中文

面向神经人物动画的 Attention-Guided Cooperative Warping:SynergyWarpNet

计算机视觉与模式识别 2025-12-22 v1

摘要

近期神经人物动画技术的进展显示出在虚拟化身、远程呈现和数字内容创建中巨大的潜力。然而,传统的显式变形方法常在精确运动传递或恢复缺失区域方面受限,而近期基于注意力的变形方法虽然有效,却常面临高复杂度和弱几何约束问题。为此,我们提出了 SynergyWarpNet,一种针对高保真说话人 synthesized 的 attention-guided cooperative warping 框架。给定源人物画像、驱动图像以及一组参考图像,模型在三个阶段逐步细化动画。首先,显式变形模块使用 3D 稠密光流对源图像和驱动图像进行粗略空间对齐。接着,参考增强校正模块通过跨注意力整合来自多个参考图像中 3D 关键点和纹理特征,以语义方式完成遮挡或失真区域。最后,置信度引导的融合模块使用学习到的置信度图对变形输出进行空间自适应融合,在结构对齐与视觉一致性之间进行平衡。全面评估表明,该方法在基准数据集上实现了最先进的性能。

关键词

引用

@article{arxiv.2512.17331,
  title  = {SynergyWarpNet: Attention-Guided Cooperative Warping for Neural Portrait Animation},
  author = {Shihang Li and Zhiqiang Gong and Minming Ye and Yue Gao and Wen Yao},
  journal= {arXiv preprint arXiv:2512.17331},
  year   = {2025}
}

备注

Submitted to ICASSP 2026