中文

自动视频标注:基于佐证证据的人脸识别

计算机视觉与模式识别 2021-02-11 v1

摘要

我们提出一种通过结合多证据源与多模态(视觉与音频)来自动标注视频档案(如电视广播)中所有人脸的方法。我们面向不断增长的在线视频档案问题,其中高效、可扩展的索引方案不能要求用户提供手动标注或监督。为此,我们做出三项关键贡献:(1)我们提供一种新颖、简单的方法,利用图像搜索引擎判断一个人是否有名。这进而使人脸身份模型得以可靠且鲁棒地构建,并用于高精度自动标注;(2)我们展示即使对不太有名的人,图像搜索引擎也可用作佐证证据,以准确标注在场景或语音中被提及的人脸;(3)最后,我们在不同视频域和测试设置(如电视节目和新闻广播)上定量展示了我们方法的益处。我们的方法在三个迥异数据集上无需任何显式域适应即可工作,并在所有公开基准上刷新了最优结果。

关键词

引用

@article{arxiv.2102.05645,
  title  = {Automated Video Labelling: Identifying Faces by Corroborative Evidence},
  author = {Andrew Brown and Ernesto Coto and Andrew Zisserman},
  journal= {arXiv preprint arXiv:2102.05645},
  year   = {2021}
}