AutoFIS：分解模型中用于点击率预测的自动特征交互选择
机器学习
2020-07-06 v3 信息检索
机器学习
摘要
学习特征交互对于推荐系统中的点击率（CTR）预测至关重要。在大多数现有深度学习模型中，特征交互要么手动设计，要么简单枚举。然而，枚举所有特征交互会带来巨大的内存与计算开销。更糟的是，无用的交互可能引入噪声并使训练过程复杂化。在这项工作中，我们提出一种称为自动特征交互选择（AutoFIS）的两阶段算法。AutoFIS 能以仅相当于将目标模型训练至收敛的计算代价，自动识别分解模型中的重要特征交互。在搜索阶段，我们不是在一组离散的候选特征交互上搜索，而是通过引入架构参数将选择松弛为连续的。通过对架构参数实施正则化优化器，模型可在自身训练过程中自动识别并移除冗余特征交互。在重训练阶段，我们保留架构参数作为注意力单元以进一步提升性能。在三个大规模数据集（两个公共基准，一个私有）上的离线实验表明，AutoFIS 可显著改进各类基于 FM 的模型。AutoFIS 已部署于华为应用市场推荐服务的训练平台，为期 10 天的在线 A/B 测试表明，AutoFIS 在 CTR 和 CVR 上分别使 DeepFM 模型提升 20.3% 和 20.1%。
引用
@article{arxiv.2003.11235,
title = {AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction},
author = {Bin Liu and Chenxu Zhu and Guilin Li and Weinan Zhang and Jincai Lai and Ruiming Tang and Xiuqiang He and Zhenguo Li and Yong Yu},
journal= {arXiv preprint arXiv:2003.11235},
year = {2020}
}
备注
KDD 2020 ADS track oral accepted