Softmax 剖析：理解嵌入学习中类内与类间目标
计算机视觉与模式识别
2020-02-13 v2 机器学习
摘要
Softmax 损失及其变体被广泛用作嵌入学习的损失函数，尤其在人脸识别等应用中。然而，Softmax 损失中的类内与类间目标相互纠缠，因此优化良好的类间目标会导致类内目标松弛，反之亦然。本文中，我们提出将 Softmax 损失剖析为独立的类内与类间目标（D-Softmax）。以 D-Softmax 为目标，我们可以清晰理解类内与类间目标，从而直接地将各部分调至最佳状态。此外，我们发现类间目标的计算是冗余的，并提出了两种基于采样的 D-Softmax 变体以降低计算成本。使用常规规模数据训练时，人脸验证实验表明 D-Softmax 与 SphereFace、ArcFace 等现有损失相当。使用大规模数据训练时，实验表明 D-Softmax 的快速变体显著加速训练过程（如 64 倍），仅带来微小性能损失，在性能与效率上均优于现有的 Softmax 加速方法。
引用
@article{arxiv.1908.01281,
title = {Softmax Dissection: Towards Understanding Intra- and Inter-class Objective for Embedding Learning},
author = {Lanqing He and Zhongdao Wang and Yali Li and Shengjin Wang},
journal= {arXiv preprint arXiv:1908.01281},
year = {2020}
}
备注
Accepted to AAAI-2020, Oral presentation