分层Softmax在大规模分类任务中的有效性
机器学习
2018-12-17 v1 机器学习
摘要
通常，Softmax用于神经网络的最后一层以获得输出类的概率分布。但Softmax的主要问题是，对于具有大量可能输出的大规模数据集，其计算开销昂贵。为在此类大规模数据集上高效近似类概率，我们可以使用分层Softmax。我们使用LSHTC数据集来研究分层Softmax的性能。LSHTC数据集具有大量类别。在本文中，我们评估并报告了在LSHTC数据集上普通Softmax与分层Softmax的性能对比。该评估以宏f1分数作为性能度量。观察发现，随着类别数量增加，分层Softmax的性能下降。
引用
@article{arxiv.1812.05737,
title = {Effectiveness of Hierarchical Softmax in Large Scale Classification Tasks},
author = {Abdul Arfat Mohammed and Venkatesh Umaashankar},
journal= {arXiv preprint arXiv:1812.05737},
year = {2018}
}