FastFace：单GPU大规模人脸识别训练的快速收敛调度器
计算机视觉与模式识别
2024-12-12 v2
摘要
计算能力已成为深度学习领域基础且不可或缺的资源，特别是在大规模数据集上训练人脸识别（FR）模型等任务中，通常需要多个GPU。认识到这一挑战，一些FR方法开始探索压缩FR模型中全连接层的方法。与其他方法不同，我们的观察表明，如果在FR模型训练期间不及时调度学习率（LR），损失曲线往往会出现许多平稳子序列。为解决这一问题，我们引入了一种新颖的LR调度器，利用指数移动平均（EMA）和Haar卷积核（HCK）来消除平稳子序列，从而显著减少收敛时间。然而，所提出的调度器由于其时间复杂度而引入了相当大的计算开销。为克服这一限制，我们提出了FastFace，一种具有可忽略时间复杂度（即每次迭代O(1)）的快速收敛调度器。在实践中，FastFace能够将FR模型训练加速到原始时间的四分之一，同时精度损失不超过1%，使得在时间和空间复杂度方面，即使仅使用单个GPU也能实现大规模FR训练。大量实验验证了FastFace的效率和有效性。代码公开于：https://github.com/amoonfana/FastFace
引用
@article{arxiv.2404.11118,
title = {FastFace: Fast-converging Scheduler for Large-scale Face Recognition Training with One GPU},
author = {Xueyuan Gong and Zhiquan Liu and Yain-Whar Si and Xiaochen Yuan and Ke Wang and Xiaoxiang Liu and Cong Lin and Xinyuan Zhang},
journal= {arXiv preprint arXiv:2404.11118},
year = {2024}
}