将盲人脸图像恢复扩展到视频的分析与基准测试

盲人脸恢复的最新进展已能为静态图像生成高质量的重建结果。然而，将这些进展扩展到视频场景的努力却很少，部分原因是缺乏能够进行全面公平比较的基准。在这项工作中，我们首先提出了一个公平的评估基准，其中我们引入了一个真实世界低质量人脸视频基准（RFV-LQ），评估了几种领先的基于图像的人脸恢复算法，并对将盲人脸图像恢复算法扩展到退化人脸视频的益处和挑战进行了彻底的系统分析。我们的分析确定了几个关键问题，主要分为两个方面：面部组件的显著抖动和帧间的噪声形状闪烁。为了解决这些问题，我们提出了一种与对齐平滑协作的时间一致性网络（TCN），以减少恢复视频中的抖动和闪烁。TCN 是一个灵活的组件，可以无缝地插入到最先进的人脸图像恢复算法中，从而尽可能保持基于图像恢复的质量。我们进行了大量实验来评估我们提出的 TCN 和对齐平滑操作的有效性和效率。项目页面：https://wzhouxiff.github.io/projects/FIR2FVR/FIR2FVR。