卡尔曼启发式特征传播用于视频人脸超分辨率
计算机视觉与模式识别
2024-08-12 v1
摘要
尽管人脸图像超分辨率取得了令人瞩目的进展，视频人脸超分辨率仍相对未被充分探索。现有方法要么将通用视频超分辨率网络适配到人脸数据集，要么在单个视频帧上独立应用已建立的人脸图像超分辨率模型。这些范式要么在重建面部细节方面，要么在保持时间一致性方面面临挑战。为解决这些问题，我们提出了一种名为卡尔曼启发式特征传播（KEEP）的新框架，旨在随时间维持稳定的人脸先验。卡尔曼滤波原理使本方法具备递归能力，能够利用先前恢复帧中的信息来指导和调节当前帧的恢复过程。大量实验证明了本方法在跨视频帧一致捕获面部细节方面的有效性。代码和视频演示可在 https://jnjaby.github.io/projects/KEEP 获取。
引用
@article{arxiv.2408.05205,
title = {Kalman-Inspired Feature Propagation for Video Face Super-Resolution},
author = {Ruicheng Feng and Chongyi Li and Chen Change Loy},
journal= {arXiv preprint arXiv:2408.05205},
year = {2024}
}
备注
Accepted by ECCV 2024. Project page: https://jnjaby.github.io/projects/KEEP/