面向随意视频拍摄的合成散焦与前瞻自动对焦

在电影拍摄中，大相机镜头能营造出漂亮的浅景深（DOF），但也使得对焦困难且成本高昂。精准的电影对焦通常依赖剧本和专人实时控制焦点。随意视频拍摄者往往渴望电影级对焦，却难以实现。我们要么牺牲浅景深，如智能手机视频；要么费力也难以实现准确对焦，如较大相机拍摄的视频。本文提出一种在随意视频拍摄中追求电影级对焦的新方法。我们提出一个系统，可从智能手机拍摄的深景深视频合成可重对焦视频，并分析后续视频帧以为当前帧提供上下文感知的自动对焦。为创建可重对焦视频，我们扩展了近期为静态摄影设计的机器学习方法，贡献了一个用于机器训练的新数据集、一个更适于电影对焦的渲染模型，以及一种用于时间一致性的滤波方案。为每帧准确选择焦点，我们展示了一种前瞻即将到来的视频帧并应用运动、人脸、音频和显著性检测等 AI 辅助模块的前瞻自动对焦。我们还表明，自动对焦受益于机器学习和一个带对焦标注的大规模视频数据集，其中我们使用 RVR-LAAF GUI 高效创建了该可观的数据集。例如，我们呈现了一段浅景深视频，其中自动对焦在每个人开口说话前就切换到她身上。这对传统相机自动对焦是不可能的，因为它需要预见未来。