视频中肖像的参数化重塑
计算机视觉与模式识别
2022-05-06 v1 多媒体
摘要
近年来，向各类社交媒体网络分享个性化短视频变得十分流行。这提升了对视频中肖像进行数字修饰的需求。然而，将肖像图像编辑直接应用于视频帧无法生成平滑稳定的视频序列。为此，我们提出一种鲁棒且易用的参数化方法，对视频中的肖像进行重塑以产生平滑的修饰结果。给定输入肖像视频，我们的方法包含两个主要阶段：稳定人脸重建与连续视频重塑。在第一阶段，我们首先估计跨视频帧的人脸刚性位姿变换，然后联合优化多帧以重建精确人脸身份，随后恢复整个人脸视频中的表情。在第二阶段，我们首先使用反映人脸体重变化的参数化重塑模型对重建的3D人脸进行重塑，然后利用重塑后的3D人脸引导视频帧的扭曲。我们提出了一种基于符号距离函数的稠密映射新方法，用于重塑前后人脸轮廓之间的扭曲，从而得到失真最小且稳定的扭曲视频帧。此外，我们利用人脸的3D结构修正稠密映射以实现时间一致性。最后，我们通过优化内容感知扭曲网格来最小化背景失真，生成最终结果。大量实验表明，我们的方法能够通过调节简单的重塑参数创建视觉愉悦的结果，从而便利了面向社交媒体与视觉效果的肖像视频编辑。
引用
@article{arxiv.2205.02538,
title = {Parametric Reshaping of Portraits in Videos},
author = {Xiangjun Tang and Wenxin Sun and Yong-Liang Yang and Xiaogang Jin},
journal= {arXiv preprint arXiv:2205.02538},
year = {2022}
}