基于项目反应理论设计的面部识别能力测试
计算机视觉与模式识别
2023-06-14 v3 统计方法学
摘要
面部识别能力的度量对于确保专业法医面部检验员及其他在应用场景中执行面部识别任务人员的准确且一致的表现至关重要。当前的能力测试依赖于静态的刺激项目集，因此无法对同一对象有效多次施测。为创建能力测试，必须组装大量“已知”难度的项目。随后可使用项目子集构建多个等难度的测试。我们引入三元身份匹配 (Triad Identity Matching, TIM) 测试，并使用项目反应理论 (IRT) 对其进行评估。参与者观看人脸图像“三元组”（N=225）（同一身份的两张图像，不同身份的一张图像）并选出不同身份。在实验 1 中，大学生（N=197）在 TIM 测试上表现出广泛的准确率，IRT 建模表明 TIM 项目涵盖了多种难度水平。在实验 2 中，我们使用基于 IRT 的项目指标将测试划分为特定难度的子集。模拟显示 TIM 项目的子集能产生可靠的对象能力估计。在实验 3a 和 3b 中，我们发现学生衍生的 IRT 模型能可靠评估非学生参与者的能力，且该能力在不同测试时段间具有泛化性。在实验 3c 中，我们显示 TIM 测试表现与其他常见面部识别测试相关。总之，TIM 测试为开发灵活且经校准以测量不同能力水平（例如专业人员或具有面部处理缺陷的人群）熟练度的框架提供了起点。
引用
@article{arxiv.2106.15323,
title = {Face Identification Proficiency Test Designed Using Item Response Theory},
author = {Géraldine Jeckeln and Ying Hu and Jacqueline G. Cavazos and Amy N. Yates and Carina A. Hahn and Larry Tang and P. Jonathon Phillips and Alice J. O'Toole},
journal= {arXiv preprint arXiv:2106.15323},
year = {2023}
}
备注
20 pages (including references), 10 figures