PocketNet：使用神经架构搜索与多步知识蒸馏的极致轻量级人脸识别网络
计算机视觉与模式识别
2021-12-14 v2
摘要
深度神经网络已迅速成为人脸识别（FR）的主流方法。然而，这限制了此类包含极大量参数的模型在嵌入式和低端设备上的部署。在这项工作中，我们提出了一种极致轻量且准确的人脸识别解决方案，即 PocketNet。我们利用神经架构搜索来开发一系列新的轻量级人脸专用架构。此外，我们提出了一种基于知识蒸馏（KD）的新型训练范式，即多步 KD，其中知识在训练成熟度的不同阶段从教师模型蒸馏到学生模型。我们进行了详细的消融研究，证明了将 NAS 用于人脸识别这一特定任务而非通用目标分类的合理性，以及我们提出的多步 KD 的优势。我们在九个不同的基准测试集上进行了广泛的实验评估，并与最先进（SOTA）的紧凑型人脸识别模型进行了比较，包括大规模评估基准如 IJB-B、IJB-C 和 MegaFace。在考虑相同模型紧凑程度的情况下，PocketNet 在九个主流基准测试上持续提升了 SOTA 人脸识别性能。我们最小的网络 PocketNetS-128 仅拥有 0.92M 参数，却取得了与近期包含多达 4M 参数的 SOTA 紧凑模型极具竞争力的结果。
引用
@article{arxiv.2108.10710,
title = {PocketNet: Extreme Lightweight Face Recognition Network using Neural Architecture Search and Multi-Step Knowledge Distillation},
author = {Fadi Boutros and Patrick Siebke and Marcel Klemt and Naser Damer and Florian Kirchbuchner and Arjan Kuijper},
journal= {arXiv preprint arXiv:2108.10710},
year = {2021}
}