用于极端分类的图正则化编码器训练
机器学习
2025-01-27 v2 信息检索
摘要
深度极端分类（XC）旨在训练一个编码器架构和一个配套的分类器架构，以便从非常大的标签宇宙中为数据点标记最相关的标签子集。排名、推荐和标签等 XC 应用经常遇到长尾标签，其训练数据量极少。图卷积网络（GCN）提供了一种方便但计算成本高昂的方法，可利用任务元数据并在这些设置中提高模型精度。本文正式确立，在多种用例中，通过用非 GCN 架构替换 GCN，完全可以避免 GCN 陡峭的计算成本。本文指出，在这些设置中，利用图数据正则化编码器训练比实现 GCN 有效得多。基于这些见解，提出了一种替代范式 RAMEN，用于在 XC 设置中利用图元数据，该方法在推理计算成本零增加的情况下提供了显著的性能提升。RAMEN 可扩展至多达 100 万标签的数据集，并在基准数据集上提供比最先进方法（包括那些利用图元数据训练 GCN 的方法）高出 15% 的预测精度。RAMEN 在源自某流行搜索引擎点击日志的专有推荐数据集上，也比最佳基线提供了 10% 更高的精度。RAMEN 的代码将公开发布。
引用
@article{arxiv.2402.18434,
title = {Graph Regularized Encoder Training for Extreme Classification},
author = {Anshul Mittal and Shikhar Mohan and Deepak Saini and Siddarth Asokan and Suchith C. Prabhu and Lakshya Kumar and Pankaj Malhotra and Jain jiao and Amit Singh and Sumeet Agarwal and Soumen Chakrabarti and Purushottam Kar and Manik Varma},
journal= {arXiv preprint arXiv:2402.18434},
year = {2025}
}
备注
Accepted at TheWebConf