使用大语言模型提高Pinterest搜索相关性
信息检索
2024-10-23 v1 计算与语言
摘要
为了提高Pinterest搜索相关性评分，我们将大语言模型（LLM）集成到我们的搜索相关性模型中，利用精心设计的文本表示来有效预测Pin的相关性。我们的方法使用搜索查询以及包括从生成式视觉语言模型提取的标题的内容表示，进一步丰富了基于链接的文本数据、历史上高质量互动查询、用户精选板块、Pin标题和Pin描述，创建了强大的模型来预测搜索相关性。我们使用半监督学习方法有效地扩展了训练数据的规模，超越了限于英语的昂贵人工标注数据。通过利用多语言LLM，我们的系统将训练数据扩展到包括不可见语言和领域，尽管最初的数据和标注员专长仅限于英语。此外，我们从LLM基于模型中提炼到实时可用模型架构和特征。我们提供了对我们提出技术的全面离线实验验证，并展示了通过最终在大规模部署系统所实现的提升。
关键词
引用
@article{arxiv.2410.17152,
title = {Improving Pinterest Search Relevance Using Large Language Models},
author = {Han Wang and Mukuntha Narayanan Sundararaman and Onur Gungor and Yu Xu and Krishna Kamath and Rakesh Chalasani and Kurchi Subhra Hazra and Jinfeng Rao},
journal= {arXiv preprint arXiv:2410.17152},
year = {2024}
}
备注
CIKM 2024 Workshop on Industrial Recommendation Systems