智能视频编辑：在视频编辑器中集成现代说话人脸生成算法
计算机视觉与模式识别
2021-10-19 v1
摘要
本文提出了一种基于 OpenShot 的视频编辑器，将若干最先进的面部视频编辑算法作为附加功能。我们的编辑器提供了易于使用的界面，可交互式地应用现代唇形同步算法。除唇形同步外，该编辑器还利用音频与面部重演生成富有表现力的说话人脸。手动控制改善了视频编辑的整体体验，同时不遗漏现代合成视频生成算法的优势。该控制使我们能够对复杂的译制电影场景、访谈、电视节目及其他视觉内容进行唇形同步。此外，我们的编辑器提供自动将讲座口语内容翻译、对授课教师进行唇形同步以及处理幻灯片等边背景内容的功能。在此过程中，我们还解决了将背景内容与翻译语音同步的关键问题。我们通过开展人工评估定性地评价了所提编辑器的实用性。评估结果显示，人工编辑的效率得到明显提升，且视频生成质量有所改善。我们在补充材料中附上了演示视频，清晰说明了该工具并展示了多个结果。
引用
@article{arxiv.2110.08580,
title = {Intelligent Video Editing: Incorporating Modern Talking Face Generation Algorithms in a Video Editor},
author = {Anchit Gupta and Faizan Farooq Khan and Rudrabha Mukhopadhyay and Vinay P. Namboodiri and C. V. Jawahar},
journal= {arXiv preprint arXiv:2110.08580},
year = {2021}
}
备注
9 pages, 7 figures, accepted in ICVGIP 2021