SPM：面向美团搜索相关性建模的结构化预训练与匹配架构

在电商搜索中，查询与文档之间的相关性是满足用户体验的基本要求。与提供商品的传统电商平台不同，用户主要在美团等生活服务平台上搜索服务提供者，这些提供者通常具有丰富的结构化信息，例如名称、地址、类别、数千种商品。利用这些丰富结构化内容建模搜索相关性面临以下挑战：（1）结构化文档不同字段之间存在语言分布差异，难以直接采用基于现成预训练语言模型（如 BERT）的方法。（2）不同字段通常具有不同重要性且长度差异巨大，难以提取有助于相关性匹配的文档信息。为解决这些问题，本文提出一种新颖的用于丰富结构化文档相关性匹配的两阶段预训练与匹配架构。在预训练阶段，我们提出一种有效的预训练方法，将查询与文档的多个字段同时作为输入，包括对长字段的有效信息压缩方法。在相关性匹配阶段，通过利用搜索查询中的领域知识，提出一种新颖的匹配方法以生成更有效的文档表示用于相关性打分。在数百万用户上的大量离线实验与在线 A/B 测试验证了所提架构有效提升了相关性建模的性能。该模型已在线部署，服务美团搜索流量超过一年。