基于离散先验的时序一致内容预测：针对盲面人脸视频修复
计算机视觉与模式识别
2025-01-20 v1
摘要
盲面人脸视频修复旨在从受复杂未知退化影响的视频中恢复高保真细节。该任务在保持面部属性稳定的同时，面临显著的时序异质性挑战。本文引入一种基于离散先验的时序一致内容预测变换器，以解决这一挑战，模型称为 DP-TempCoh。具体而言，我们引入空间时序感知的内容预测模块，从离散视觉先验中合成高质量内容，基于受损视频标记。为进一步增强预测内容的时序一致性，设计了基于离散运动先验的运动统计调制模块，以跨帧均值和方差为依据调整内容。结果，预测内容的统计特性可随时间匹配真实视频的统计特性。通过进行大量实验，我们验证了设计元素的有效性，并展示了 DP-TempCoh 在合成和自然退化视频修复中的卓越性能。
引用
@article{arxiv.2501.09960,
title = {Discrete Prior-based Temporal-coherent Content Prediction for Blind Face Video Restoration},
author = {Lianxin Xie and Bingbing Zheng and Wen Xue and Yunfei Zhang and Le Jiang and Ruotao Xu and Si Wu and Hau-San Wong},
journal= {arXiv preprint arXiv:2501.09960},
year = {2025}
}