具有类别层次软约束的对抗式专家混合模型
机器学习
2021-03-03 v3 机器学习
摘要
产品搜索是人们在电子商务网站上满足购物需求的最常见方式。产品通常被标注一个宽泛的类别标签，如“服装”或“电子产品”，以及更细粒度的类别，如“冰箱”或“电视”，两者均属于“电子产品”。这些标签用于构建查询类别的层次结构。价格和品牌流行度等特征的分布在不同查询类别间差异巨大。此外，对于点击率/转化率预测而言，特征重要性也因类别而异。在这项工作中，我们利用专家混合（Mixture of Expert, MoE）框架来学习一个针对每个查询类别专门化的排序模型。具体而言，我们的门控网络仅依赖于从用户查询中提取的类别ID。虽然经典的MoE会为每个输入样本自发地选择专家塔，但我们探索了两种技术，以在专家和查询类别之间建立更明确、更透明的联系。为了帮助区分各专家的领域专长，我们在专家输出之间引入了一种对抗性正则化形式，迫使它们彼此产生分歧。结果，它们倾向于从不同角度处理每个预测问题，而不是相互复制。这一点通过不同类别下门控输出向量更强的聚类效应得到了验证。此外，基于类别层级的软门控约束被施加，以帮助相似产品选择相似的门控值，并使它们更有可能共享相似的专家。这使得能够在较小的同级类别之间聚合训练数据，以克服数据稀缺性。
引用
@article{arxiv.2007.12349,
title = {Adversarial Mixture Of Experts with Category Hierarchy Soft Constraint},
author = {Zhuojian Xiao and Yunjiang jiang and Guoyu Tang and Lin Liu and Sulong Xu and Yun Xiao and Weipeng Yan},
journal= {arXiv preprint arXiv:2007.12349},
year = {2021}
}