基于在线人脸聚类的动态角色图用于电影分析
计算机视觉与模式识别
2020-07-30 v1 多媒体
摘要
一种有效的电影内容自动分析方法在于构建其角色的网络（图）。已有工作通常利用元数据、剧本或人工标注构建静态角色图以概括内容。我们提出一种无监督方法，用于构建捕捉角色交互时间演化的动态角色图，称之为角色交互图 (CIG)。我们的方法包含两个组成部分：(i) 一种在线人脸聚类算法，在视频流中随角色出现而发现其身份；(ii) 利用所得聚类的时间动态同时创建 CIG。我们展示了 CIG 在两项电影分析任务中的效用：叙事结构（幕）分割与主要角色检索。在包含超过 5000 条人脸轨迹的长片上的评估表明，所提方法在两项任务上均取得优越性能。
引用
@article{arxiv.2007.14913,
title = {Dynamic Character Graph via Online Face Clustering for Movie Analysis},
author = {Prakhar Kulshreshtha and Tanaya Guha},
journal= {arXiv preprint arXiv:2007.14913},
year = {2020}
}
备注
accepted for publication in Multimedia Tools and Applications (MMTA)