利用泄漏平方欧氏距离解决 Softmax 激活中的早期稀疏梯度问题
计算机视觉与模式识别
2018-11-28 v1
摘要
Softmax 激活通常基于某种距离度量用于输出各类别的概率分布。在如一次性学习等场景中，距离度量常选为查询样本与类别原型之间的平方欧氏距离。这一做法在大多数时候表现良好。然而，我们发现选择平方欧氏距离可能导致距离爆炸，使反向传播早期的梯度极度稀疏。我们将此现象称为早期稀疏梯度问题。尽管它不会恶化模型的收敛，但可能为进一步的模型改进设置障碍。为解决该问题，我们提出使用泄漏平方欧氏距离对距离施加限制。通过这种方式，我们可以避免距离爆炸并增大梯度幅值。我们在 Omniglot 和 miniImageNet 数据集上进行了充分实验。我们表明使用泄漏平方欧氏距离可提升两个数据集上的一次性分类准确率。
引用
@article{arxiv.1811.10779,
title = {Tackling Early Sparse Gradients in Softmax Activation Using Leaky Squared Euclidean Distance},
author = {Wei Shen and Rujie Liu},
journal= {arXiv preprint arXiv:1811.10779},
year = {2018}
}