将 SAINT 与树基模型集成：员工离职预测中的案例研究
机器学习
2026-04-14 v1
摘要
员工离职是组织面临的重大挑战，导致成本增加和生产力下降。准确预测离职可实现主动留职策略，但现有机器学习模型常难以捕捉表格 HR 数据中复杂的特征交互。虽然 XGBoost 和 LightGBM 等树基模型在结构化数据上表现良好，但传统编码技术如独热编码会引入稀疏性，无法保持类别特征之间的语义关系。本研究探索了将 SAINT（Self-Attention and Intersample Attention Transformer）生成的嵌入与树基模型集成以增强员工离职预测的混合方法。SAINT 利用自注意力机制建模复杂的特征交互。本研究将 SAINT 作为独立分类器以及特征提取器进行评估。我们评估了独立模型（SAINT、XGBoost、LightGBM）和集成 SAINT 嵌入与树基分类器的混合模型的性能、可扩展性和可解释性。实验结果表明，独立的树基模型在预测准确性和泛化能力方面均优于独立的 SAINT 模型和混合方法。尽管预期，混合模型未提升性能。一个可能的解释是，树基模型难以有效利用稠密高维嵌入。此外，混合方法显著降低了可解释性，使模型决策难以解释。这些发现表明，尽管 transformer-based 嵌入能够捕捉特征关系，但并不一定提升树基分类器的性能。未来的研究应探索替代的深度学习与结构化数据集成策略。
引用
@article{arxiv.2604.10337,
title = {Integrating SAINT with Tree-Based Models: A Case Study in Employee Attrition Prediction},
author = {Adil Derrazi and Javad Pourmostafa Roshan Sharami},
journal= {arXiv preprint arXiv:2604.10337},
year = {2026}
}
备注
Accepted at IntelliSys 2025 (Springer LNNS)