P2SGrad：用于优化深度人脸模型的精炼梯度
计算机视觉与模式识别
2019-05-08 v1
摘要
基于余弦的 softmax 损失显著提升了深度人脸识别网络的性能。然而，这些损失常包含敏感超参数，会使训练过程不稳定，且针对特定数据集设置合适超参数十分棘手。本文通过直接设计梯度以自适应训练深度神经网络来应对该挑战。我们首先通过分析先前余弦 softmax 损失的梯度，对其加以研究并统一。这一统一视角启发我们提出一种称为 P2SGrad（概率到相似度梯度，Probability-to-Similarity Gradient）的新梯度，它利用余弦相似度而非分类概率来直接更新用于更新神经网络参数的测试度量。P2SGrad 具有自适应且无超参数的特点，使训练过程更高效、更快速。我们在 LFW、MegaFace 与 IJB-C 三个人脸识别基准上评估了 P2SGrad。结果表明，P2SGrad 训练稳定、对噪声鲁棒，并在全部三个基准上取得 SOTA 性能。
引用
@article{arxiv.1905.02479,
title = {P2SGrad: Refined Gradients for Optimizing Deep Face Models},
author = {Xiao Zhang and Rui Zhao and Junjie Yan and Mengya Gao and Yu Qiao and Xiaogang Wang and Hongsheng Li},
journal= {arXiv preprint arXiv:1905.02479},
year = {2019}
}
备注
Accepted by CVPR 2019