LPFS：用于点击率预测的可学习极化特征选择

在工业界，特征选择是搜索最优信息特征字段集合以高效训练深度点击率（CTR）模型的标准但必要的步骤。大多数先前工作通过使用模型对应的连续权重来衡量特征字段的重要性，然后移除权重值较小的特征字段。然而，移除许多对应较小但非零权重的特征不可避免地会损害模型性能，且不利于热启动模型训练。也没有理论保证权重大小能代表重要性，因此若使用这些方法可能导致次优结果。为解决该问题，我们提出一种新颖的可学习极化特征选择（LPFS）方法，使用了文献中的平滑 $\ell^0$ 函数。此外，我们通过新设计的平滑 $\ell^0$ 类函数将 LPFS 扩展为 LPFS++，以选择更具信息量的特征子集。LPFS 和 LPFS++ 可用作插入深度网络输入处的门控，以控制各特征的激活与未激活状态。训练完成后，部分门控精确为零，其余接近一，这尤其受工业界实际热启动训练青睐，因为在移除对应精确零门控的特征前后对模型性能无损害。实验表明，我们的方法以明显优势优于其他方法，并在快手科技取得了出色的 A/B 测试结果。