VFHQ：用于视频人脸超分辨率的高质量数据集与基准

Liangbin Xie. Xintao Wang; Honglun Zhang; Chao Dong; Ying Shan

VFHQ：用于视频人脸超分辨率的高质量数据集与基准

图像与视频处理 2022-05-10 v1 人工智能计算机视觉与模式识别多媒体

作者: Liangbin Xie. Xintao Wang , Honglun Zhang , Chao Dong , Ying Shan

摘要

现有大多数视频人脸超分辨率（VFSR）方法在 VoxCeleb1 上训练和评估，而该数据集专为说话人识别设计且其中帧质量较低。因此，在该数据集上训练的 VFSR 模型无法输出视觉上令人满意的结果。本文中，我们开发了一条自动且可扩展的流水线来收集高质量视频人脸数据集（VFHQ），其包含超过 $16,000$ 段多样访谈场景的高保真片段。为验证 VFHQ 的必要性，我们进一步开展实验并表明，在我们的 VFHQ 数据集上训练的 VFSR 模型能比在 VoxCeleb1 上训练的模型生成边缘更锐利、纹理更精细的结果。此外，我们展示了时间信息在消除视频一致性问题以及进一步提升视觉性能方面起着关键作用。基于 VFHQ，通过在双三次和盲设置下对若干最先进算法进行基准研究分析。见我们的项目页面：https://liangbinxie.github.io/projects/vfhq

关键词

视频人脸超分辨率 VFHQ 数据集基准时间信息高质量数据最先进算法

引用

@article{arxiv.2205.03409,
  title  = {VFHQ: A High-Quality Dataset and Benchmark for Video Face Super-Resolution},
  author = {Liangbin Xie. Xintao Wang and Honglun Zhang and Chao Dong and Ying Shan},
  journal= {arXiv preprint arXiv:2205.03409},
  year   = {2022}
}

备注

Project webpage available at https://liangbinxie.github.io/projects/vfhq

VFHQ：用于视频人脸超分辨率的高质量数据集与基准

摘要

关键词

引用

备注

相关论文