历史视频数据中标记者间一致性与机器标注性能的相关性研究
计算机视觉与模式识别
2019-07-31 v1 数字图书馆
信息检索
多媒体
摘要
视觉概念分类与人脸识别等视频索引方法，对于实现如德国广播档案馆（DRA）所维护的前民主德国（GDR）历史视频馆藏等大规模视频档案中的细粒度语义检索至关重要。通常需为语义检索定义视觉概念词表。然而，由于标注者个体判断差异，视觉概念的定义可能或多或少带有主观性，这可能影响标注质量并进而影响监督式机器学习的训练。本文中，我们针对前东德历史电视数据的视觉概念分类与人脸识别任务，分析标记者间一致性（inter-coder agreement）。为确定标注同质性的差异，我们对一组专家与非专家标注者的标记者间一致性进行了评估。此外，我们测量了视觉识别性能与标注者间一致性的相关性。在此背景下，利用图像数量与一致性信息来预测概念分类的平均精度（average precision）。最后，利用研究中获取的专家与非专家标注来评估人脸识别。
引用
@article{arxiv.1907.10450,
title = {Investigating Correlations of Inter-coder Agreement and Machine Annotation Performance for Historical Video Data},
author = {Kader Pustu-Iren and Markus Mühling and Nikolaus Korfhage and Joanna Bars and Sabrina Bernhöft and Angelika Hörth and Bernd Freisleben and Ralph Ewerth},
journal= {arXiv preprint arXiv:1907.10450},
year = {2019}
}