基于深度无监督多视图检测的游戏中继视频精彩片段识别

我们研究游戏直播中自动精彩片段检测的问题。当前绝大多数游戏精彩片段检测系统由硬编码游戏事件（如分数变化、游戏结束）触发，而多数先进工具与技术基于游戏画面的视觉分析来检测精彩片段。我们认为，在游戏直播语境下，可能构成精彩片段的事件不仅取决于游戏画面，还取决于主播在游玩过程中传达的社交信号（例如与观众互动时，或对游戏进行评论与反应时）。有鉴于此，我们提出一种基于新颖性的多视图无监督深度学习方法用于精彩片段检测。该方法联合分析游戏画面与玩家面部表情、语音等社交信号，并在 Player Unknown's Battlegrounds 等热门游戏直播的精彩片段生成上展现出有前景的结果。