利用多层嵌入训练增强推荐系统中的跨类别学习
机器学习
2023-09-29 v1 人工智能
摘要
现代基于 DNN 的推荐系统依赖于由训练得到的稀疏特征嵌入。输入稀疏性使得为罕见类别获取高质量嵌入更为困难，因为其表示更新频率低。我们展示了一种在训练时通过有效的跨类别学习生成更优嵌入的技术，并从理论上解释了其令人惊讶的有效性。该方案称为多层嵌入训练（MLET），它通过对嵌入层进行因式分解来训练嵌入，其内维高于目标嵌入维。为保持推理效率，MLET 将训练得到的两层嵌入转换为单层嵌入，从而保持推理时模型大小不变。MLET 的经验优越性令人困惑，因为其搜索空间并不大于单层嵌入的搜索空间。MLET 对内维的强烈依赖则更令人惊讶。我们建立了一个理论，通过表明 MLET 创造了一种由嵌入的奇异向量调制的自适应更新机制，来解释这两种行为。在多个用于点击率（CTR）预测任务的先进推荐模型上测试时，MLET 始终生成更好的模型，尤其是对罕见物品。在模型质量恒定的情况下，MLET 可使嵌入维及模型大小在各模型上最多缩减 16 倍，平均缩减 5.8 倍。
引用
@article{arxiv.2309.15881,
title = {Enhancing Cross-Category Learning in Recommendation Systems with Multi-Layer Embedding Training},
author = {Zihao Deng and Benjamin Ghaemmaghami and Ashish Kumar Singh and Benjamin Cho and Leo Orshansky and Mattan Erez and Michael Orshansky},
journal= {arXiv preprint arXiv:2309.15881},
year = {2023}
}
备注
This is the preprint of our paper accepted at ACML 2023