基于动态间隔损失的原型极端多标签分类
机器学习
2024-10-29 v1 信息检索
摘要
极端多标签分类 (XMC) 方法在极大的标签空间中为给定查询预测相关标签。XMC 中的近期工作使用深度编码器将文本描述投影到适合恢复最接近标签的嵌入空间来解决此问题。然而，在大的输出空间中学习深度模型在计算上可能是昂贵的，从而导致高性能的暴力方法与高效解决方案之间的权衡。在本文中，我们提出了 PRIME，一种 XMC 方法，它采用新颖的原型对比学习技术来调和效率与性能，超越了暴力方法。我们将 XMC 构建为数据到原型的预测任务，其中标签原型聚合来自相关查询的信息。更确切地说，我们使用一个我们称之为标签原型网络的浅层 transformer 编码器，它通过聚合基于文本的嵌入、标签质心和可学习的自由向量来丰富标签表示。我们使用自适应三元组损失目标联合训练深度编码器和标签原型网络，该目标能更好地适应极端标签空间的高粒度和模糊性。PRIME 在不同规模和领域的多个公共基准上取得了 state-of-the-art 的结果，同时保持模型高效。
引用
@article{arxiv.2410.20401,
title = {Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss},
author = {Kunal Dahiya and Diego Ortego and David Jiménez},
journal= {arXiv preprint arXiv:2410.20401},
year = {2024}
}