RECE：面向大规模目录序列推荐器的简化交叉熵损失
信息检索
2024-08-15 v3 机器学习
摘要
可扩展性是现代推荐系统面临的主要挑战。在序列推荐中，完整的交叉熵损失实现了最先进的推荐质量，但在大型物品目录下消耗过多的GPU内存，限制了其实用性。该论文利用一种GPU高效的类局部敏感哈希算法来近似大规模logits张量，提出了一种新颖的RECE（简化交叉熵）损失。RECE显著降低了内存消耗，同时使人们能够享受完整CE损失的最先进性能。在各种数据集上的实验结果表明，与现有方法相比，RECE将训练峰值内存使用量降低了多达12倍，同时保持或超越了CE损失的性能指标。该方法还为其他领域的大规模应用开辟了新的可能性。
引用
@article{arxiv.2408.02354,
title = {RECE: Reduced Cross-Entropy Loss for Large-Catalogue Sequential Recommenders},
author = {Danil Gusak and Gleb Mezentsev and Ivan Oseledets and Evgeny Frolov},
journal= {arXiv preprint arXiv:2408.02354},
year = {2024}
}
备注
5 pages, accepted for CIKM'24