面向点击率预测的特征集优化

点击率预测（CTR）模型将特征转换为隐向量，并枚举可能的特征交互以基于输入特征集提升性能。因此，在选择最优特征集时，我们应同时考虑特征及其交互的影响。然而，多数已有工作要么聚焦于特征域选择，要么仅在固定特征集上选择特征交互来生成特征集。前者将搜索空间限制在特征域，过于粗糙而难以确定细微特征，且未过滤无用特征交互，导致更高计算成本与模型性能下降。后者从所有可用特征中识别有用特征交互，致使特征集中存在许多冗余特征。本文提出一种名为OptFS的新方法以解决上述问题。为统一特征及其交互的选择，我们将每个特征交互的选择分解为两个相关特征的选择。该分解使得模型在各种特征交互操作下可端到端训练。通过采用特征级搜索空间，我们设置可学习门控以确定各特征是否应纳入特征集。鉴于大规模搜索空间，我们开发了continuation学习训练方案来学习此类门控。因此，OptFS生成的特征集仅包含能改善最终预测结果的特征。实验上，我们在三个公开数据集上评估OptFS，表明OptFS能优化特征集，从而提升模型性能并进一步降低存储与计算成本。