面向冷启动场景的统一搜索与推荐基础模型
信息检索
2023-09-19 v1 人工智能
摘要
在现代商业搜索引擎与推荐系统中，来自多领域的数据可用于联合训练多领域模型。传统方法在多任务设定下训练多领域模型，利用共享参数学习多任务的相似性，并利用任务特定参数学习各任务特征、标签与样本分布的差异性。随着大语言模型的发展，LLM 可提取服务于搜索与推荐任务的全局领域不变文本特征。我们提出一种称为 S&R 多领域基础模型的新框架，其利用 LLM 提取领域不变特征，并利用方面门控融合（Aspect Gating Fusion）合并 ID 特征、领域不变文本特征与任务特定异构稀疏特征，以获得查询与物品的表示。此外，来自多个搜索与推荐场景的样本通过领域自适应多任务模块联合训练，从而获得多领域基础模型。我们以预训练-微调方式将 S&R 多领域基础模型应用于冷启动场景，其性能优于其他 SOTA 迁移学习方法。S&R 多领域基础模型已成功部署于支付宝移动应用的线上服务，如内容查询推荐与服务卡片推荐等。
引用
@article{arxiv.2309.08939,
title = {An Unified Search and Recommendation Foundation Model for Cold-Start Scenario},
author = {Yuqi Gong and Xichen Ding and Yehui Su and Kaiming Shen and Zhongyi Liu and Guannan Zhang},
journal= {arXiv preprint arXiv:2309.08939},
year = {2023}
}
备注
CIKM 2023,6 pages