Sigsoftmax：对 Softmax 瓶颈的再分析
机器学习
2018-05-29 v1 机器学习
摘要
Softmax 是深度学习中许多应用里用于建模类别概率分布的输出的激活函数。然而，最近的研究揭示，在语言建模中 softmax 可能成为神经网络表征能力的瓶颈（即 softmax 瓶颈）。本文提出一种无需额外参数即可打破 softmax 瓶颈的输出激活函数。我们从 log-softmax 输出集的角度重新分析了 softmax 瓶颈，并确定了其成因。基于该分析，我们提出 sigsoftmax，它由指数函数与 sigmoid 函数的乘积构成。Sigsoftmax 能够打破 softmax 瓶颈。语言建模实验表明，sigsoftmax 与 sigsoftmax 混合分别优于 softmax 与 softmax 混合。
引用
@article{arxiv.1805.10829,
title = {Sigsoftmax: Reanalysis of the Softmax Bottleneck},
author = {Sekitoshi Kanai and Yasuhiro Fujiwara and Yuki Yamanaka and Shuichi Adachi},
journal= {arXiv preprint arXiv:1805.10829},
year = {2018}
}
备注
15pages, 2 figures