基于姿态相关参考选择的自由视点人体动画

扩散模型驱动的人体动画旨在以源人体图像为输入，结合驱动信号（如姿态序列）生成动画。利用扩散模型的生成能力，现有方法能够生成高保真姿态，但在显著视点变化（尤其是镜头变焦场景，即摄像机与人物距离变化）时仍感到困难。这限制了诸如电影级镜头方案规划或摄像机控制等应用。我们提出一种姿态相关参考选择扩散网络，支持人体动画中的大范围视点变化。核心思想是使网络能够利用多个参考图像作为输入，因显著视点变化常导致人物身体部位细节缺失。为降低计算成本，我们首先引入一种新型姿态相关模块，用于计算非对齐目标姿态与源姿态之间的相似性，然后提出自适应参考选择策略，利用注意力图识别动画生成的关键区域。为训练本模型，我们整理了来自公开演讲视频的大型数据集，包含同一角色的多种镜头视角，有助于模型学习不同视角下的合成效果。实验结果表明，在相同参考图像数量下，我们的模型在大范围视点变化场景下优于当前 SOTA 方法。我们进一步展示，自适应参考选择能够选择最相关的参考区域，以实现自由视点下的人体生成。