CharacterGAN：基于关键点少量样本的卡通角色动画与重摆姿

我们提出了 CharacterGAN，一种仅需给定角色的少量样本（8–15 个）即可训练的 generative model（生成模型）。我们的模型基于关键点位置生成新颖的姿势，这些姿势可实时修改并提供交互式反馈，从而实现直观的重摆姿与动画。由于我们仅有非常有限的训练样本，关键挑战之一在于如何处理（被）遮挡问题，例如手移动到身体后方或前方时。为此，我们提出了一种新颖的分层方法，显式地将输入关键点划分为不同层并独立处理。这些层代表角色的不同部位，并提供强烈的隐式偏置，即使在强（被）遮挡情况下也有助于获得逼真的结果。为组合各层特征，我们采用了一种以所有关键点为条件的自适应缩放方法。最后，我们引入了掩码连通性约束，以减少测试时极端分布外姿势所产生的失真伪影。我们表明，我们的方法优于近期基线模型，并为多样化角色生成逼真动画。我们还展示了我们的模型能够处理离散状态变化（例如面朝左或右的侧脸），不同层确实学到了这些层中相应关键点的特定特征，并且当数据更充足时我们的模型可扩展至更大数据集。