基于结构化硬辅助掩码剪枝的逐域嵌入维度搜索用于点击率预测
信息检索
2022-08-18 v1
摘要
特征嵌入是基于深度学习的点击率预测模型训练中最关键的步骤之一，其将高维稀疏特征映射为稠密嵌入向量。经典的人工设计嵌入维度选择方法在内存占用与模型容量的权衡上被证明是“次优”的。神经架构搜索（NAS）中的新兴方法已展现出搜索嵌入维度的效率。然而，大多数现有基于 NAS 的工作面临计算代价高昂、搜索空间的维度灾难，以及连续搜索空间与离散候选空间之间的不一致等问题。其他以非结构化方式剪枝嵌入的工作则未能显式降低计算成本。本文为克服这些局限，提出一种新策略：通过硬辅助掩码（Hard Auxiliary Mask）对超网进行结构化剪枝，以搜索最优的混合维度嵌入方案。我们的方法旨在使用简单高效的基于梯度的方法直接在离散空间中搜索候选模型。此外，我们在嵌入表上引入正交正则项，以降低嵌入列间的相关性并增强表示能力。大量实验表明，该方法能在性能损失极小的情况下有效移除冗余嵌入维度。
引用
@article{arxiv.2208.08004,
title = {Field-wise Embedding Size Search via Structural Hard Auxiliary Mask Pruning for Click-Through Rate Prediction},
author = {Tesi Xiao and Xia Xiao and Ming Chen and Youlong Chen},
journal= {arXiv preprint arXiv:2208.08004},
year = {2022}
}