面向角色的短视频缩略图检索
计算机视觉与模式识别
2022-04-15 v1 机器学习
摘要
我们探索检索以角色为中心的视频帧，作为视频缩略图的候选。为基于视频帧中出现的角色来评估每一帧，我们从两方面评估角色（人脸）：面部表情：我们训练一个 CNN 模型来衡量一张人脸是否具有适合作为视频缩略图的可接受面部表情。该模型经训练以区分从艺术作品/缩略图中提取的人脸与从视频随机帧中提取的人脸。显著性与交互：缩略图中的角色应是视频中的重要角色，以防止算法将非代表性帧作为候选推荐。我们利用人脸聚类识别视频中的角色，并构建一幅图，其中捕获角色的显著性（出现频率）及其交互（共现）。我们利用该图推断各候选帧中所出现角色的相关性。一旦每张人脸基于上述两项标准被打分，我们便通过综合帧内所有人脸的分数来推断帧级分数。
引用
@article{arxiv.2204.06563,
title = {Character-focused Video Thumbnail Retrieval},
author = {Shervin Ardeshir and Nagendra Kamath and Hossein Taghavi},
journal= {arXiv preprint arXiv:2204.06563},
year = {2022}
}
备注
International Conference on Machine Learning. Machine Learning for Media Discovery (ML4MD) Workshop 2020