真实感神经说话头模型的少样本对抗学习
计算机视觉与模式识别
2019-12-17 v2 图形学
机器学习
摘要
近期的若干工作已展示如何通过训练卷积神经网络生成高度真实的人头图像。为创建个性化说话头模型，这些工作需要在某单人的大量图像数据集上训练。然而，在许多实际场景中，此类个性化说话头模型需要从某人的少量图像视角（甚至可能仅单张图像）中学习。在此，我们提出具备此种少样本能力的系统。它先在大规模视频数据集上进行漫长的元学习，之后能够将先前未见人物的少样本及单样本神经说话头模型学习建模为高容量生成器与判别器的对抗训练问题。关键在于，该系统能够以人物特定的方式初始化生成器和判别器的参数，从而尽管需调优数千万参数，仍可以仅基于少量图像快速完成训练。我们展示该方法能够学习出新人物乃至肖像画的高度真实且个性化的说话头模型。
引用
@article{arxiv.1905.08233,
title = {Few-Shot Adversarial Learning of Realistic Neural Talking Head Models},
author = {Egor Zakharov and Aliaksandra Shysheya and Egor Burkov and Victor Lempitsky},
journal= {arXiv preprint arXiv:1905.08233},
year = {2019}
}
备注
UPDATE: the data we used for evaluation is available for download! See https://drive.google.com/open?id=1PeGG6zO3ZjrHk2GAXItB8khwMhPPyDHe and refer to the README for description