驯服 Sigmoid 瓶颈：可证明可 argmax 的稀疏多标签分类
机器学习
2024-01-30 v2
摘要
Sigmoid 输出层广泛用于多标签分类（MLC）任务，其中可为任意输入分配多个标签。在许多实际 MLC 任务中，可能标签数达数千，常超过输入特征数，导致低秩输出层。在多类分类中，已知此类低秩输出层是一种瓶颈，会导致不可 argmax 类：对任何输入均无法预测的类。本文表明，对 MLC 任务，类似的 sigmoid 瓶颈会导致指数级多的不可 argmax 标签组合。我们说明了如何检测这些不可 argmax 输出，并展示了它们在三个广泛使用的 MLC 数据集中的存在。接着我们表明，实践中可通过引入离散傅里叶变换（DFT）输出层来防止，其保证所有至多 个激活标签的稀疏标签组合均可 argmax。我们的 DFT 层训练更快且参数更高效，在使用最多少 50% 可训练参数的同时匹配 sigmoid 层的 F1@k 分数。我们的代码公开于 https://github.com/andreasgrv/sigmoid-bottleneck。
引用
@article{arxiv.2310.10443,
title = {Taming the Sigmoid Bottleneck: Provably Argmaxable Sparse Multi-Label Classification},
author = {Andreas Grivas and Antonio Vergari and Adam Lopez},
journal= {arXiv preprint arXiv:2310.10443},
year = {2024}
}
备注
Published at AAAI24