面向工业语义搜索的统一结构化查询理解框架

在大规模工业搜索系统中，查询理解通常被实现为一系列分散的、特定于任务的组件。虽然这些组件可以单独优化，但这种碎片化的架构会导致高昂的维护开销和不一致的行为，尤其是对于长尾查询。在这项工作中，我们提出并部署了一个统一的结构化查询理解系统，该系统将这些异构功能整合到一个执行模式约束生成的小型语言模型（SLM）中。为了解决统一建模中固有的数据瓶颈，我们引入了Query Illuminator，这是一个双重用途的框架，其功能包括：(i) 作为用于高质量自动标注和知识蒸馏的教师模型，以及(ii) 作为在人工标注稀缺时用于可扩展评估的替代评判器。我们通过在LinkedIn的职位搜索系统中进行的大量离线和在线测试验证了这种方法。此外，我们通过一个关于人物搜索的跨领域案例研究，展示了该框架的水平可扩展性。结果表明，在有限的GPU资源上满足严格的低延迟服务约束的同时，用户参与度得到了提升，运营成本也得到了降低。