基于自注意力机制的高性能客户流失预测系统

客户流失预测是一项有助于客户留存策略的具有挑战性的研究领域。流失预测领域常采用的现有机器学习模型的预测性能似乎遇到了瓶颈，部分原因在于模型的特征提取能力较差。因此，本文提出一种新颖算法——具有自注意力增强的混合神经网络（HNNSAE），以提升特征筛选与特征提取的效率，从而改善模型的预测性能。该模型由三个主要模块组成。第一模块为实体嵌入层，用于处理转换为 0-1 编码的分类变量。第二模块为特征提取器，通过多头自注意力机制提取显著特征。此外，为提升特征提取效果，我们在多头自注意力模块上堆叠了残差连接神经网络。第三模块为分类器，是一个三层多层感知机。本工作在有关商业银行客户的公开数据集上进行了实验。结果表明，HNNSAE 显著优于本文测试的其他个体机器学习（IML）、集成机器学习（EML）与深度学习（DL）方法。此外，我们将本文提出的特征提取器与其他三种特征提取器进行性能比较，发现本文方法显著优于其他方法。另外，关于模型预测性能与过拟合风险的四个假设在公开数据集上得到了验证。