通过 Dropout 与解耦打破序列推荐系统的 Softmax 瓶颈
机器学习
2021-10-12 v1 信息检索
摘要
Softmax 瓶颈最初在语言建模中被确立为基于 Softmax 模型表达能力的理论极限。作为输出概率最广泛使用的方法之一，基于 Softmax 的模型有着广泛的应用，包括基于会话的推荐系统（SBRSs）。基于 Softmax 的模型由最末线性层之上的 Softmax 函数构成。该瓶颈已被证明由最末线性层的秩亏引起，这源于其与矩阵分解的关联。本文中，我们指出 SBRSs 中的 Softmax 瓶颈还有更多面向。与普遍认知相反，过拟合确实发生于最末线性层，而它通常被认为与复杂网络相关。此外，我们确认会话序列与候选池之间共享物品嵌入的常用技术造成了一种紧耦合，同样导致了该瓶颈。我们提出一种简单而有效的方法，Dropout 与解耦（D&D），以缓解这些问题。实验表明，我们的方法显著提升了多种基于 Softmax 的 SBRS 算法的准确率。与 MLP 和 MoS（Mixture of Softmaxes）等其他计算昂贵的方法相比，我们的方法与它们表现相当，有时甚至更优，同时保持与基于 Softmax 模型相同的时间复杂度。
引用
@article{arxiv.2110.05409,
title = {Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling},
author = {Ying-Chen Lin},
journal= {arXiv preprint arXiv:2110.05409},
year = {2021}
}