面向多场景多任务搜索的自动专家选择
机器学习
2022-06-07 v2 信息检索
摘要
多场景学习（MSL）使服务提供者能够通过为不同用户群体（如按用户地理区域）分离服务来满足用户的细粒度需求。在每个场景下，需要优化多个任务特定目标（如点击率与转化率），称为多任务学习（MTL）。近期 MSL 与 MTL 的解决方案大多基于多门混合专家（MMoE）架构。MMoE 结构通常是静态的，且其设计需要领域特定知识，使其在同时处理 MSL 与 MTL 时效果有限。本文提出一种用于多场景与多任务搜索的新颖自动专家选择框架，名为 AESM。AESM 将 MSL 与 MTL 集成到具有自动结构学习的统一框架中。具体而言，AESM 将多任务层堆叠于多场景层之上。这种层次化设计使我们能灵活建立不同场景间的内在联系，同时支持针对不同任务的高层特征提取。在每个多场景/多任务层，提出一种新颖的专家选择算法，为每个输入自动识别场景/任务特定与共享专家。在两个真实世界大规模数据集上的实验证明了 AESM 相对于一系列强基线的有效性。在线 A/B 测试也显示多个指标上的显著性能提升。目前，AESM 已部署上线服务于主要流量。
引用
@article{arxiv.2205.14321,
title = {Automatic Expert Selection for Multi-Scenario and Multi-Task Search},
author = {Xinyu Zou and Zhi Hu and Yiming Zhao and Xuchu Ding and Zhongyi Liu and Chenliang Li and Aixin Sun},
journal= {arXiv preprint arXiv:2205.14321},
year = {2022}
}
备注
Accepted by SIGIR 2022; 10 pages, 8 figures