i-Razor：一种用于基于DNN的推荐系统中特征选择与维度搜索的可微分神经输入剃刀
信息检索
2023-11-14 v2 人工智能
机器学习
摘要
输入特征在基于 DNN 的推荐系统中起着关键作用，这类系统包含来自用户、物品、上下文和交互的数千个类别与连续字段。噪声特征与不恰当的嵌入维度分配会恶化推荐系统性能，并在模型训练与在线服务中引入不必要的复杂度。优化 DNN 模型的输入配置，包括特征选择与嵌入维度分配，已成为特征工程中的重要课题之一。然而，在现有工业实践中，特征选择与维度搜索被顺序优化，即先执行特征选择，再进行维度搜索以确定每个所选特征的最优维度大小。这种顺序优化机制增加了训练成本，并有可能生成次优的输入配置。为解决该问题，我们提出一种可微分神经输入剃刀（i-Razor），可实现特征选择与维度搜索的联合优化。具体而言，我们引入一个端到端可微分模型来学习各特征不同嵌入区域的相对重要性。此外，提出一种灵活的剪枝算法，以同时实现特征过滤与维度推导。在点击率（CTR）预测任务上两个大规模公开数据集的充分实验，证明了 i-Razor 在平衡模型复杂度与性能方面的有效性与优越性。
引用
@article{arxiv.2204.00281,
title = {i-Razor: A Differentiable Neural Input Razor for Feature Selection and Dimension Search in DNN-Based Recommender Systems},
author = {Yao Yao and Bin Liu and Haoxun He and Dakui Sheng and Ke Wang and Li Xiao and Huanhuan Cao},
journal= {arXiv preprint arXiv:2204.00281},
year = {2023}
}
备注
Accepted by IEEE Transactions on Knowledge and Data Engineering (TKDE)