Partial FC：在单台机器上训练一千万身份
计算机视觉与模式识别
2021-01-26 v2 分布式、并行与集群计算
摘要
长期以来，人脸识别一直是计算机视觉界一个活跃且重要的课题。以往的研究主要关注用于人脸特征提取网络的损失函数，其中基于softmax的损失函数的改进极大地推动了人脸识别的性能。然而，人脸身份数量的急剧增加与GPU显存短缺之间的矛盾正逐渐变得不可调和。本文中，我们深入分析了基于softmax的损失函数的优化目标以及训练海量身份的困难。我们发现，在人脸表征学习中，softmax函数中负类的重要性并不像我们此前认为的那么高。实验表明，在使用最先进模型的主流基准上，与使用全部类训练相比，基于softmax的损失函数仅使用随机采样的10%类进行训练时精度没有损失。我们还实现了一种非常高效的分布式采样算法，兼顾模型精度与训练效率，仅使用八块NVIDIA RTX2080Ti即可完成数千万身份的分类任务。本文代码已公开：https://github.com/deepinsight/insightface/tree/master/recognition/partial_fc。
引用
@article{arxiv.2010.05222,
title = {Partial FC: Training 10 Million Identities on a Single Machine},
author = {Xiang An and Xuhan Zhu and Yang Xiao and Lan Wu and Ming Zhang and Yuan Gao and Bin Qin and Debing Zhang and Ying Fu},
journal= {arXiv preprint arXiv:2010.05222},
year = {2021}
}
备注
8 pages, 9 figures