PECOS：面向海量且相关输出空间的预测
机器学习
2022-01-20 v2
摘要
许多大规模应用等价于从潜在候选的庞大输出空间中寻找相关结果。例如，从大型目录中找出最匹配的商品，或在搜索引擎上建议相关搜索短语。这些问题的输出空间规模可从数百万到数十亿，某些应用中甚至可为无限。此外，输出空间中的长尾项往往训练数据有限。幸运的是，输出空间中的项常具相关性，从而缓解数据稀疏问题。本文提出面向海量且相关输出空间的预测（PECOS）框架，一种通用且模块化的机器学习框架，用于解决极大输出空间的预测问题，并将其应用于极端多标签排序（XMR）问题：给定输入实例，从庞大但固定有限的输出空间中查找并排序最相关项。我们为 PECOS 提出三阶段框架：(i) 第一阶段，PECOS 使用语义索引方案组织输出空间；(ii) 第二阶段，PECOS 利用索引通过机器学习匹配方案将输出空间缩减数个数量级；(iii) 第三阶段，PECOS 使用最终排序方案对匹配项排序。PECOS 的通用性与模块化允许索引、匹配和排序阶段各种选择的轻松即插即用。我们还开发了极快推断过程，使实时 XMR 预测成为可能；例如，在含 280 万标签的数据集上，每输入推断耗时少于 1 毫秒。PECOS 软件可在 https://libpecos.org 获取。
引用
@article{arxiv.2010.05878,
title = {PECOS: Prediction for Enormous and Correlated Output Spaces},
author = {Hsiang-Fu Yu and Kai Zhong and Jiong Zhang and Wei-Cheng Chang and Inderjit S. Dhillon},
journal= {arXiv preprint arXiv:2010.05878},
year = {2022}
}