用于检测娱乐媒体中背景角色的音视角色轮廓

计算媒体智能的一个核心目标是支持理解媒体故事——无论是新闻、商业还是娱乐媒体——如何呈现与反映社会，以及这些刻画如何被感知。人物是媒体故事的中心元素。本文聚焦于理解媒体刻画中的背景角色表征与描绘，主要是电影和电视节目。我们将背景角色定义为整部影片中未在任何场景发声的人物，并解决视频中定位背景角色的问题。我们使用主动说话人定位系统提取高置信度的人脸-语音关联，并通过自动聚类为影片中说话角色生成音视轮廓。随后利用人脸验证系统，剪除所有与所生成角色轮廓相匹配的人脸轨迹，从而获得背景角色人脸轨迹。我们整理了一个背景角色数据集，为一组电视节目提供背景角色标注，并用其评估背景角色检测框架的性能。