MetaPortrait：具有快速个性化适配的保持身份说话头生成
计算机视觉与模式识别
2023-03-28 v3
摘要
在这项工作中，我们提出一个保持 ID 的说话头生成框架，从两方面推进先前方法。首先，与从稀疏流插值不同，我们主张密集 landmarks 对实现精确的几何感知流场至关重要。其次，受换脸方法启发，我们在合成过程中自适应融合源身份，使网络更好地保留图像肖像的关键特征。尽管所提模型在既定基准上超越了先前的生成保真度，为使说话头生成进一步符合实际使用，通常需要进行个性化微调。然而，该过程计算需求极高，标准用户难以负担。为此，我们提出使用元学习方法快速适配模型。学习到的模型可快至 30 秒适配为高质量个性化模型。最后同样重要的是，我们提出时空增强模块以改善细节同时保证时间连贯性。大量实验证明了我们的方法在单样本和个性化设置下均显著优于最先进水平（state of the arts）。
引用
@article{arxiv.2212.08062,
title = {MetaPortrait: Identity-Preserving Talking Head Generation with Fast Personalized Adaptation},
author = {Bowen Zhang and Chenyang Qi and Pan Zhang and Bo Zhang and HsiangTao Wu and Dong Chen and Qifeng Chen and Yong Wang and Fang Wen},
journal= {arXiv preprint arXiv:2212.08062},
year = {2023}
}
备注
CVPR 2023, project page: https://meta-portrait.github.io