HiNet:基于层次信息提取的新型多场景多任务学习模型
信息检索
2024-10-11 v3 人工智能
摘要
多场景与多任务学习已广泛应用于工业界的许多推荐系统中,其中一种有效且实用的做法是在混合专家(MoE)架构基础上进行多场景迁移学习。然而,基于 MoE 的方法旨在将全部信息投影至同一特征空间,无法有效处理各场景与任务间固有的复杂关系,导致性能不佳。为解决该问题,我们提出一种用于多场景多任务推荐的层次信息提取网络(HiNet),其基于由粗到细的知识迁移方案实现层次化提取。该层次网络的多个提取层使模型能够增强跨场景有价值信息的迁移能力,同时保留场景与任务的特定特征。此外,提出一种新颖的场景感知注意力网络模块,以显式建模场景间相关性。在来自美团美食平台的实际工业数据集上进行的综合实验表明,HiNet 达到了新的 SOTA 性能,并显著优于现有方案。HiNet 目前已完全部署于两个场景,分别实现了 2.87% 和 1.75% 的订单量提升。
引用
@article{arxiv.2303.06095,
title = {HiNet: Novel Multi-Scenario & Multi-Task Learning with Hierarchical Information Extraction},
author = {Jie Zhou and Xianshuai Cao and Wenhao Li and Lin Bo and Kun Zhang and Chuan Luo and Qian Yu},
journal= {arXiv preprint arXiv:2303.06095},
year = {2024}
}
备注
The paper has been accepted by ICDE2023