大搜索模型：在LLM时代重新定义搜索栈

现代搜索引擎构建于不同组件的栈之上，包括查询理解、检索、多阶段排序和问答等。这些组件通常独立优化和部署。在本文中，我们引入一种称为大搜索模型（large search model）的新概念框架，它通过用一个大语言模型（LLM）统一搜索任务来重新定义传统搜索栈。所有任务都被表述为自回归文本生成问题，允许通过使用自然语言提示来定制任务。该提出的框架利用了LLM强大的语言理解和推理能力，提供了提升搜索结果质量的同时简化现有繁琐搜索栈的潜力。为证实该框架的可行性，我们展示了一系列概念验证实验，并讨论了在真实搜索系统中实现此方法相关的潜在挑战。