中文

校正广角视频中的人脸畸变

计算机视觉与模式识别 2021-12-22 v1 图形学

摘要

视频博客和自拍是流行的社交媒体形式,常由广角相机拍摄以同时呈现人物主体和扩展的背景。遗憾的是,由于透视投影,靠近角落和边缘的人脸呈现出明显的拉伸和挤压面部特征的畸变,导致视频质量下降。在这项工作中,我们提出了一种视频扭曲算法来校正这些畸变。我们的核心思想是在面部区域局部应用立体投影。我们利用时空能量最小化公式化一个网格扭曲问题,并使用保线项最小化背景变形以维持背景中的直线边缘。为解决时间相干性,我们通过潜变量约束扭曲网格和面部轨迹的时间平滑性。为评估性能,我们构建了一个涵盖广泛焦距范围的广角视频数据集。用户研究表明,83.9% 的用户基于透视投影更喜欢我们的算法而非其他替代方案。

关键词

引用

@article{arxiv.2111.09950,
  title  = {Correcting Face Distortion in Wide-Angle Videos},
  author = {Wei-Sheng Lai and YiChang Shih and Chia-Kai Liang and Ming-Hsuan Yang},
  journal= {arXiv preprint arXiv:2111.09950},
  year   = {2021}
}

备注

Project website: https://www.wslai.net/publications/video_face_correction/