Smart Director：一种用于直播的事件驱动导播系统

直播视频制作通常需要大量技能与具备领域知识的专业知识，以实现多摄像机制作。随着摄像机数量持续增加，体育直播的导播工作变得比以往更加复杂和具有挑战性。导播人员在制作过程中需要更加专注、反应迅速且知识渊博。为减轻导播人员的繁重工作，我们开发了一种创新的自动化体育直播导播系统，称为 Smart Director，其旨在模拟典型的人在回路（human-in-the-loop）直播流程，利用一组先进的多视角视频分析算法实时自动生成接近专业的直播节目。受所谓体育直播“三事件”构建的启发，我们以事件驱动流水线构建系统，包含三个连续的新颖组件：1）多视角事件定位，通过建模多视角相关性来检测事件；2）多视角精彩片段检测，依据视觉重要性对摄像机视角排序以进行视角选择；3）自动直播调度器，控制直播视频的制作。据我们所知，我们的系统是首个用于多摄像机体育直播的端到端自动化导播系统，完全由对体育事件的语义理解驱动。它也是首个通过跨视角关系建模解决多视角联合事件检测这一新颖问题的系统。我们在真实世界的多摄像机足球数据集上进行了客观与主观评估，表明自动生成视频的质量可与人工导播相媲美。得益于更快的响应速度，我们的系统能够捕捉更多快速传递和短时长事件，而这些事件通常被人工导播遗漏。