通过门控层集成增强深度点击率预测模型神经特征选择的探索能力
机器学习
2021-12-08 v1
摘要
特征选择是开发工业级深度点击率（CTR）预测系统的重要步骤。神经特征选择（NFS）的目标是选取具有最佳解释力的相对较小特征子集，以去除冗余特征并降低计算成本。受基于梯度的神经架构搜索（NAS）和网络剪枝方法启发，人们采用门控（Gating）方法解决 NFS 问题，即插入一组可微的二元门来丢弃信息量较少的特征。这些二元门与网络参数以高效的端到端方式一同优化。本文中，我们从探索-利用的角度分析基于梯度的解法，并用实证结果表明门控方法可能受限于探索不足。为提升基于梯度解法的探索能力，我们提出一种简单而有效的集成学习方法，称为 Ensemble Gating。我们选用两个公开数据集 Avazu 和 Criteo 来评估该方法。实验表明，在不增加任何计算开销或引入任何超参数（集成大小除外）的情况下，我们的方法能够在三个不同底层深度 CTR 预测模型的两个数据集上持续改良门控方法并找到更优特征子集。
引用
@article{arxiv.2112.03487,
title = {Enhanced Exploration in Neural Feature Selection for Deep Click-Through Rate Prediction Models via Ensemble of Gating Layers},
author = {Lin Guan and Xia Xiao and Ming Chen and Youlong Cheng},
journal= {arXiv preprint arXiv:2112.03487},
year = {2021}
}