中文

透过面具:基于去遮挡蒸馏的遮挡人脸识别

计算机视觉与模式识别 2024-09-20 v1 人工智能 机器学习

摘要

当今许多实际应用,如视频监控和城市治理,都需要解决遮挡人脸的识别问题,其中各种遮挡物造成的内容替换常常带来不完整的外观和模糊的表示,导致识别准确率急剧下降。受近期非模态感知研究进展的启发,我们提出将非模态补全机制迁移到遮挡人脸识别任务中,构建了一个端到端的去遮挡蒸馏框架,该框架由两个模块组成。去遮挡模块采用生成对抗网络进行人脸补全,恢复遮挡物下的内容并消除外观模糊性。蒸馏模块以预训练的通用人脸识别模型作为教师,将其知识迁移到学生模型,以训练其识别补全后的人脸,训练数据使用大规模在线合成的成对人脸。特别地,教师知识以多阶实例间的结构关系表示,作为后验正则化以实现自适应。通过这种方式,知识可以被充分蒸馏并迁移到遮挡人脸的识别中。在合成和真实数据集上的实验证明了所提出方法的有效性。

关键词

引用

@article{arxiv.2409.12385,
  title  = {Look Through Masks: Towards Masked Face Recognition with De-Occlusion Distillation},
  author = {Chenyu Li and Shiming Ge and Daichi Zhang and Jia Li},
  journal= {arXiv preprint arXiv:2409.12385},
  year   = {2024}
}

备注

Accepted by ACM MM 2020