分层 softmax 在极端多标签分类中的一种无后悔泛化
机器学习
2018-10-30 v1 机器学习
摘要
极端多标签分类（XMLC）是从极大规模候选标签池中为实例标注一小部分相关标签的问题。庞大的标签空间可通过将标签组织为树来高效处理，如常用于多类问题的分层 softmax（HSM）方法。本文研究了近期为应对 XMLC 问题而设计的概率标签树（PLTs）。我们证明，当以 precision@k 作为模型评估指标时，PLTs 是 HSM 的一种无后悔多标签泛化。关键的是，我们证明 pick-one-label 启发式——一种常与 HSM 联用的多标签到多类的归约技术——在一般情况下并不一致。我们还展示了我们对 PLTs 的实现（称为 extremeText（XT））相比采用 pick-one-label 启发式的 HSM 以及专为 XMLC 问题设计的深度网络 XML-CNN 取得了显著更优的结果。此外，XT 在统计性能、模型规模和预测时间方面与许多最先进方法具有竞争力，这使其适于部署于在线系统。
引用
@article{arxiv.1810.11671,
title = {A no-regret generalization of hierarchical softmax to extreme multi-label classification},
author = {Marek Wydmuch and Kalina Jasinska and Mikhail Kuznetsov and Róbert Busa-Fekete and Krzysztof Dembczyński},
journal= {arXiv preprint arXiv:1810.11671},
year = {2018}
}
备注
Accepted at NIPS 2018