AdaEnsemble：用于点击率预测的自适应稀疏结构化集成网络学习
信息检索
2023-01-23 v1 人工智能
机器学习
机器学习
摘要
学习特征交互对于推荐系统和广告排序中大规模点击率（CTR）预测的成功至关重要。研究人员和从业者广泛提出了各种神经网络架构来搜索和建模特征交互。然而，我们观察到不同数据集偏好不同的神经网络架构和特征交互类型，这表明不同的特征交互学习方法可能具有各自独特的优势。受此观察启发，我们提出 AdaEnsemble：一种稀疏门控混合专家（SparseMoE）架构，能够利用异构特征交互专家的优势，并自适应地学习对每个样本路由到专家的稀疏组合，从而允许我们构建不同类型和阶数特征交互的动态层次结构。为了进一步提高预测精度和推理效率，我们引入了用于特征交互深度选择的动态早退机制。AdaEnsemble 能够自适应地选择特征交互深度，并找到对应的 SparseMoE 堆叠层进行退出并从中计算预测。因此，我们提出的架构继承了 SparseMoE 层内稀疏门控专家指数级组合的优势，并进一步动态选择最优特征交互深度而无需执行更深层。我们实现了所提出的 AdaEnsemble 并在真实数据集上评估其性能。大量实验结果证明了 AdaEnsemble 相对于最先进模型（SOTA）的效率和有效性。
引用
@article{arxiv.2301.08353,
title = {AdaEnsemble: Learning Adaptively Sparse Structured Ensemble Network for Click-Through Rate Prediction},
author = {YaChen Yan and Liubo Li},
journal= {arXiv preprint arXiv:2301.08353},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2301.01089, arXiv:2301.08139