Hiformer：基于 Transformer 的推荐系统异质特征交互学习
信息检索
2023-11-13 v1 机器学习
摘要
学习特征交互是构建推荐系统的关键基石。在万维网规模的应用中，由于输入特征空间稀疏且庞大，学习特征交互极具挑战性；同时，由于解空间呈指数级增长，人工设计有效的特征交互是不可行的。我们提出利用基于 Transformer 的带注意力层架构来自动捕获特征交互。Transformer 架构已在自然语言处理和计算机视觉等诸多领域取得巨大成功。然而，在工业界，Transformer 架构在特征交互建模方面的采用还很少。我们旨在缩小这一差距。我们指出了将原始 Transformer 架构应用于万维网规模推荐系统的两个关键挑战：(1) Transformer 架构在自注意力层中无法捕获异质特征交互；(2) Transformer 架构的服务延迟可能过高，难以部署于万维网规模推荐系统。我们首先提出一种异质自注意力层，它是对 Transformer 中自注意力层的简单而有效的修改，以考虑特征交互的异质性。随后我们引入 \textsc{Hiformer}（\textbf{H}eterogeneous \textbf{I}nteraction Trans\textbf{former}）以进一步提升模型表达能力。通过低秩近似与模型剪枝，\hiformer 享有快速的在线部署推理能力。大量离线实验结果证实了 \textsc{Hiformer} 模型的有效性与高效性。我们已成功将 \textsc{Hiformer} 模型部署于 Google Play 一个真实大规模应用排序模型中，关键参与度指标显著提升（最高达 +2.66%）。
引用
@article{arxiv.2311.05884,
title = {Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems},
author = {Huan Gui and Ruoxi Wang and Ke Yin and Long Jin and Maciej Kula and Taibai Xu and Lichan Hong and Ed H. Chi},
journal= {arXiv preprint arXiv:2311.05884},
year = {2023}
}