r-softmax：具有可控稀疏率的广义 softmax
机器学习
2023-04-24 v3
摘要
如今人工神经网络模型在许多学科中取得了显著成果。将模型提供的表示映射到概率分布的函数是深度学习方案不可分割的方面。尽管 softmax 是机器学习界普遍接受的概率映射函数，它无法返回稀疏输出，且总是将正概率分配到所有位置。本文中，我们提出 r-softmax，一种对 softmax 的修正，输出具有可控稀疏率的稀疏概率分布。与现有的稀疏概率映射函数不同，我们提供了控制输出稀疏水平的直观机制。我们在多个多标签数据集上表明，r-softmax 优于其他 softmax 的稀疏替代方案，并且与原始 softmax 极具竞争力。我们还将 r-softmax 应用于预训练 transformer 语言模型的自我注意力模块，并证明在将模型微调于不同自然语言处理任务时，它带来了性能提升。
引用
@article{arxiv.2304.05243,
title = {r-softmax: Generalized Softmax with Controllable Sparsity Rate},
author = {Klaudia Bałazy and Łukasz Struski and Marek Śmieja and Jacek Tabor},
journal= {arXiv preprint arXiv:2304.05243},
year = {2023}
}