FLAIR：一种条件扩散框架及其在人脸视频修复中的应用
计算机视觉与模式识别
2023-11-28 v1 图像与视频处理
摘要
人脸视频修复（FVR）是一个具有挑战性但重要的问题，其旨在从低质量输入中恢复感知逼真的人脸视频。尽管扩散概率模型（DPMs）已在人脸图像修复中展现出卓越性能，但它们往往难以保持时间上连贯的高质量视频，从而损害了重建人脸的保真度。我们提出了一种名为 FLAIR 的面向 FVR 的新条件扩散框架。FLAIR 通过将传统图像 DPM 转换为视频 DPM，以计算高效的方式确保帧间时间一致性。所提出的转换在不同尺度上使用了循环视频细化层和时间自注意力。FLAIR 还使用条件迭代细化过程，在推理期间平衡感知质量与失真质量。该过程包含两个关键组件：一个数据一致性模块，其以解析方式确保生成的视频精确匹配其退化观测；以及一个专门针对面部区域的由粗到细图像增强模块。我们的大量实验表明，在两个高质量人脸视频数据集上，FLAIR 在视频超分辨率、去模糊、JPEG 修复以及时空帧插值方面优于当前最先进（SOTA）方法。
引用
@article{arxiv.2311.15445,
title = {FLAIR: A Conditional Diffusion Framework with Applications to Face Video Restoration},
author = {Zihao Zou and Jiaming Liu and Shirin Shoushtari and Yubo Wang and Weijie Gan and Ulugbek S. Kamilov},
journal= {arXiv preprint arXiv:2311.15445},
year = {2023}
}
备注
32 pages, 27 figures