视频人脸替换中基于图像配准的闪烁解决及基于分析的亚像素图像配准

在本文中，提出了一种视频人脸替换框架，用于处理视频序列中换脸后的闪烁问题。该框架包含两个主要创新点：1）利用图像配准技术对源视频人脸和目标视频人脸进行对齐，以消除分割后的视频人脸序列的闪烁或抖动；2）提出了一种快速的亚像素图像配准方法，以进一步提高精度和效率。与以往的工作不同，该方法最小化重叠区域并考虑了时空相干性。结果视频中的闪烁通常是由混合目标人脸边界的频繁变化以及视频序列之间和沿序列未配准的人脸引起的。提出的亚像素图像配准方法旨在解决闪烁问题。在对齐过程中，整数像素配准通过最大化图像相似度来表述，并采用下采样策略加速该过程，而亚像素图像配准则是通过解析方法进行的单步图像匹配。实验结果表明，所提出的算法在不同数据集上进行实验时减少了计算时间并获得了较高的精度。