从本尼迪克特·康伯巴奇到夏洛克·福尔摩斯:无剧本电视剧中的角色识别
计算机视觉与模式识别
2018-02-01 v1
摘要
本文的目标是电视剧和故事片中角色的自动识别。与依赖于转录文本和字幕所提供的弱监督的标准方法不同,我们提出一种仅需演员表的新方法。该表用于从网上自由可用的来源获取演员图像,为此任务提供一种部分监督形式。在使用演员图像识别角色时,我们做出以下三点贡献:(i) 我们证明自动化半监督学习方法能够从甲演员的脸适应到角色的脸,包括头发的面部上下文;(ii) 通过为每个角色建立声音模型,我们在正面脸(有大量演员级监督)和侧面脸(极少或没有监督)之间提供桥梁;(iii) 通过结合面部上下文与说话人识别,我们能够识别部分遮挡面部和极端面部姿态下的角色。结果展示于电视剧《神探夏洛克》和故事片《卡萨布兰卡》。我们在 Casablanca 基准上达到了 SOTA,超越了先前使用转录文本提供的更强监督的方法。
引用
@article{arxiv.1801.10442,
title = {From Benedict Cumberbatch to Sherlock Holmes: Character Identification in TV series without a Script},
author = {Arsha Nagrani and Andrew Zisserman},
journal= {arXiv preprint arXiv:1801.10442},
year = {2018}
}