TriMLP：序列推荐中类MLP架构的复兴
机器学习
2023-07-26 v3
摘要
本文提出一种用于序列推荐的类MLP架构，即TriMLP，其采用新颖的三角混合器（Triangular Mixer）进行跨令牌通信。在设计三角混合器时，我们将MLP中的跨令牌操作简化为基本的矩阵乘法，并丢弃权重矩阵的下三角神经元以阻断来自未来令牌的逆时序连接。据此，信息泄漏问题得以补救，且MLP的预测能力可在标准自回归模式下被充分挖掘。更进一步，该混合器串行交替两个具有三角形状的精细MLP，分别标记为全局混合与局部混合，以在细粒度层面上分别捕捉长程依赖与局部模式，即长期与短期偏好。在来自4个基准（Amazon、MovieLens、Tenrec和LBSN）的12个不同规模数据集（5万至1000万用户-物品交互）上的实证研究表明，TriMLP持续取得令人满意的精度/效率权衡，其中相对于若干最先进基线的平均性能提升达14.88%，且推理成本降低8.65%。
引用
@article{arxiv.2305.14675,
title = {TriMLP: Revenge of a MLP-like Architecture in Sequential Recommendation},
author = {Yiheng Jiang and Yuanbo Xu and Yongjian Yang and Funing Yang and Pengyang Wang and Hui Xiong},
journal= {arXiv preprint arXiv:2305.14675},
year = {2023}
}
备注
15 pages, 9 figures, 5 tables