面向电商搜索相关性的案例驱动多智能体框架

相关性是电商搜索用户体验的基础。我们将相关性优化视为一个涉及多种人类角色的闭环生态系统：提供反馈的用户、定义标准的产品经理、标注数据的标注员、优化模型的算法工程师以及评估性能的评估员。由于在实践中改进相关性意味着系统地解决用户感知的坏案例，我们提出了一个系统层面的问题：能否通过用自主智能体取代其中的人类角色来重新构想这个生态系统？为了回答这个问题，我们提出了一个案例驱动的多智能体框架，该框架自动化了从坏案例识别到解决的流程。该框架实例化了一个用于多轮标注的标注智能体、一个用于自主坏案例分析与解决的优化智能体，以及一个通过对话交互识别坏案例的用户智能体，共同形成一个自主且持续演进的系统。为了使该框架在生产中实用，我们进一步采用了“缰绳工程”范式，并构建了一个用于高效训练的统一的检索与排序相关性模型、一个用于实时案例解决的指令遵循相关性模型、用于减少跨智能体信息不对称的全局记忆、一个针对低估失败案例的深度搜索智能体，以及一个用于人机协作的基于智能体的聊天机器人。大量人工评估表明，该框架能有效执行相关性相关任务，提高标注准确性，并实现更及时和更具泛化性的坏案例解决，为工业搜索相关性优化提供了一种实用范式。