通过智能初始化加速极端分类中的一对多训练

在本文中，我们展示了一种简单的、数据依赖的初值向量设定方式，可用于大幅加速极端多标签分类（XMC）中线性一对多（OVA）分类器的训练。我们从三个目标的角度讨论了初值权重的选择问题。我们希望在权重空间中从一个 a) 损失值较低、b) 有利于二阶优化、c) 共轭梯度（CG）计算可快速进行的区域开始。对于间隔损失，这种初始化通过选择初值向量使其将所有正例（与某标签相关）的均值与所有负例的均值分开来实现——这两个量在XMC中高度不平衡的二分类问题上可快速计算。我们在多个XMC数据集上展示了使用平方铰链损失训练时约$3\times$的加速。这部分源于从更接近解的位置出发而减少了所需迭代次数，部分源于一种隐式负挖掘效应，使得在CG步骤中可忽略简单负例。由于优化问题的凸性，该加速在不损失任何分类精度的前提下实现。