加速 Entmax
计算与语言
2022-05-20 v3 机器学习
摘要
在当代语言处理神经网络中，softmax 是归一化 logits 的事实标准。然而，由于它产生稠密概率分布，词表中每个词元在每步生成中都有非零被选中的机会，导致文本生成中出现多种已报道的问题。Peters 等人(2019, arXiv:1905.05702)的 -entmax 解决了该问题，但比 softmax 慢得多。在本文中，我们提出一种 -entmax 的替代方案，其保留了它的优良特性，但速度与优化后的 softmax 相当，并在机器翻译任务中取得持平或更好的性能。
引用
@article{arxiv.2111.06832,
title = {Speeding Up Entmax},
author = {Maxat Tezekbayev and Vassilina Nikoulina and Matthias Gallé and Zhenisbek Assylbekov},
journal= {arXiv preprint arXiv:2111.06832},
year = {2022}
}
备注
Findings of NAACL 2022