面向极端标签分类的多头编码

在现实世界中，实例的类别数量通常非常庞大，且每个实例可能包含多个标签。为了利用机器学习来区分这些大量标签，已建立了极端标签分类（XLC）。然而，随着类别数量的增加，分类器中的参数数量和非线性运算也随之增加。这导致分类器计算负载问题（CCOP）。为了解决这一问题，我们提出了一种多头编码（MHE）机制，该机制用多头分类器取代常规分类器。在训练过程中，MHE将极端标签分解为多个短局部标签的乘积，其中每个头都在这些局部标签上进行训练。在测试阶段，可以直接从每个头的预测局部分析来计算预测标签。这几何地减少了计算负载。然后，根据不同XLC任务的特征（例如单标签、多标签和模型预训练任务），提出了三种MHE-based实现，即多头乘积、多头级联和多头抽样，以更有效地应对CCOP。此外，我们在从Frobenius范数推广到交叉熵的理论分析中，理论性地展示了MHE可以实现与常规分类器大致等效的性能。实验结果表明，所提出的方法在实现最先进性能的同时，显著简化了XLC任务的训练和推理过程。源代码已公开发布于 https://github.com/Anoise/MHE。