基于循环神经切线核的序列推荐中超越双上升现象
信息检索
2022-10-25 v2
摘要
过拟合长期以来被视为序列推荐中大型神经网络模型的普遍问题。在我们的研究中，观察到一个有趣现象：过拟合是暂时的。当模型规模增大时，性能趋势先上升，然后下降（即过拟合），最终再次上升，本文称之为双上升。因此我们提出假设：相当大的模型将以更高性能实现更好的泛化。在无限宽的极端情况下，性能有望达到该特定结构的极限。遗憾的是，由于资源限制，直接构建巨大模型并不现实。本文提出过参数化推荐器（OverRec），其利用循环神经切线核（RNTK）作为用户序列的相似性度量，成功绕过了巨大模型对硬件的限制。我们进一步证明，推荐中绑定输入输出嵌入的 RNTK 与一般未绑定输入输出嵌入的 RNTK 相同，这使得 RNTK 在理论上适用于推荐。由于 RNTK 是解析导出的，OverRec 无需任何训练，避免了物理构建巨大模型。在四个数据集上进行了充分实验，验证了 OverRec 的 SOTA 性能。
引用
@article{arxiv.2209.03735,
title = {Beyond Double Ascent via Recurrent Neural Tangent Kernel in Sequential Recommendation},
author = {Ruihong Qiu and Zi Huang and Hongzhi Yin},
journal= {arXiv preprint arXiv:2209.03735},
year = {2022}
}