面向野生环境下未裁剪视频的实时多人眨眼检测
计算机视觉与模式识别
2023-08-22 v2
摘要
野生环境下的实时眨眼检测可广泛服务于疲劳检测、人脸防伪、情感分析等。现有研究工作通常聚焦于针对裁剪后视频的单人情形。然而，未裁剪视频中的多人场景对实际应用同样重要，却尚未得到充分关注。为此，我们首次照亮该研究领域，并在数据集、理论与实践上作出实质性贡献。具体而言，我们提出了一个大规模数据集 MPEblink，其在多人条件下包含 686 段未裁剪视频与 8748 个眨眼事件。样本采集自无约束的影视作品以揭示“野生”特性。同时，我们还提出了一种实时多人眨眼检测方法。与现有方法不同，我们的方案以一端到端学习能力的一阶段时空方式运行。具体地，它同时处理人脸检测、人脸跟踪以及人体实例级眨眼检测等子任务。该范式具有两大优势：（1）可通过人脸全局上下文（如头部姿态与光照条件）以联合优化与交互促进眨眼特征；且（2）以并行而非串行方式处理这些子任务可显著节省时间以满足实时运行需求。在 MPEblink 上的实验验证了野生环境下未裁剪视频实时多人眨眼检测的本质挑战。我们的方法亦以大幅优势超越现有方法，并具备高推理速度。
引用
@article{arxiv.2303.16053,
title = {Real-time Multi-person Eyeblink Detection in the Wild for Untrimmed Video},
author = {Wenzheng Zeng and Yang Xiao and Sicheng Wei and Jinfang Gan and Xintao Zhang and Zhiguo Cao and Zhiwen Fang and Joey Tianyi Zhou},
journal= {arXiv preprint arXiv:2303.16053},
year = {2023}
}
备注
Accepted by CVPR 2023