AutoFAS：面向预排序系统的自动特征与架构选择
信息检索
2022-05-20 v1
摘要
工业搜索与推荐系统大多遵循经典的多阶段信息检索范式：匹配、预排序、排序和重排序阶段。为兼顾系统效率，预排序阶段通常部署基于简单向量乘积的模型。近期工作考虑将大型排序模型的高阶知识蒸馏至小型预排序模型以提升效果。然而，预排序系统中仍存在两大挑战：（i）在未显式建模性能增益与计算成本权衡的情况下，预排序阶段预定义的延迟约束不可避免地导致次优解；（ii）将排序教师的知识迁移至具有预定手工架构的预排序学生仍受模型性能损失之苦。本工作中，提出一种新颖框架 AutoFAS，其联合优化预排序模型的效率与效果：（i）AutoFAS 首次同时使用神经架构搜索（NAS）技术选择最有价值的特征和网络架构；（ii）在 NAS 过程中配备排序模型引导的奖励，AutoFAS 可为给定排序教师选择最佳预排序架构而无需任何计算开销。我们真实世界搜索系统中的实验结果表明，AutoFAS 以更低计算成本持续优于先前最优（SOTA）方法。值得注意的是，我们的模型已应用于美团搜索系统的预排序模块，带来了显著提升。
引用
@article{arxiv.2205.09394,
title = {AutoFAS: Automatic Feature and Architecture Selection for Pre-Ranking System},
author = {Xiang Li and Xiaojiang Zhou and Yao Xiao and Peihao Huang and Dayao Chen and Sheng Chen and Yunsen Xian},
journal= {arXiv preprint arXiv:2205.09394},
year = {2022}
}