基于对抗式 Softmax 近似的极端分类
机器学习
2020-02-18 v1 机器学习
摘要
在类别数极多的情况下训练分类器,即所谓的“极端分类”,已成为技术、科学和电子商务等领域应用中备受关注的重要课题。传统的 softmax 回归带来的梯度代价与类别数 成正比,这通常昂贵得难以承受。一种流行的可扩展 softmax 近似方法依赖于均匀负采样,但由于信噪比差而收敛缓慢。在本文中,我们提出一种简单的训练方法,通过从一个模仿数据分布的对抗模型中抽取负样本,大幅增强梯度信号。我们的贡献有三方面:(i) 一种对抗式采样机制,其产生负样本的成本仅关于 对数级,因此仍可实现廉价的梯度更新;(ii) 一个数学证明,表明该对抗式采样在最小化梯度方差的同时,可消除由非均匀采样引起的任何偏差;(iii) 在大规模数据集上的实验结果,显示相对于若干竞争性基线,训练时间减少了一个数量级。
引用
@article{arxiv.2002.06298,
title = {Extreme Classification via Adversarial Softmax Approximation},
author = {Robert Bamler and Stephan Mandt},
journal= {arXiv preprint arXiv:2002.06298},
year = {2020}
}
备注
Accepted for presentation at the Eighth International Conference on Learning Representations (ICLR 2020), https://openreview.net/forum?id=rJxe3xSYDS